8月5日是個特殊的日子，為了推動大數(shù)據(jù)技術在中國大范圍應用，同時將本土技術回饋到國際開源社區(qū)，Cloudera與清華大學合作達成儀式。說到Cloudera，相信業(yè)內(nèi)人士并不陌生，大數(shù)據(jù)市場的飛速發(fā)展使得Hadoop深受歡迎，許多公司都推出了各自版本的Hadoop，也有一些公司則圍繞Hadoop開發(fā)產(chǎn)品。而在Hadoop生態(tài)系統(tǒng)中，規(guī)模大、知名度最高的公司則是Cloudera。

成都創(chuàng)新互聯(lián)公司成立于2013年，先為改則等服務建站，改則等地企業(yè)，進行企業(yè)商務咨詢服務。為改則企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務解決您的所有建站問題。

儀式結(jié)束后，Hadoop之父、Cloudera首席架構(gòu)師、Apache軟件基金會理事Doug Cutting應邀接受了互聯(lián)網(wǎng)IDC圈記者的采訪，談及了Hadoop在安全方面的措施，Spark與Hadoop之間的微妙關系以及Hadoop未來的發(fā)展等一系列問題。

Hadoop之父、Cloudera首席架構(gòu)師、Apache軟件基金會理事Doug Cutting

Hadoop已成為非常安全的平臺

當今時代，社交媒體、網(wǎng)絡、移動定位等諸多技術的廣泛應用使得數(shù)據(jù)急速增長。Hadoop作為大數(shù)據(jù)利器，一直被大肆宣傳。憶往昔，Hadoop為搜索引擎建立的網(wǎng)頁索引，并不是處理信用卡號，所以其安全問題被擱置。如此一來，許多企業(yè)對其態(tài)度也從原來的淺嘗輒止變成了望而卻步。

關于安全方面，Doug Cutting指出，在Hadoop創(chuàng)立的時候是沒有做安全這塊的，但是我們后來不斷的加強對安全模塊的研發(fā)，現(xiàn)在Hadoop也成為了非常安全的平臺。在安全方面有：身份識別—保登錄的人群是被合法認證的；用戶授權—控制用戶能夠讀取的信息；審計—提供滿足監(jiān)管需求的文檔支持，查看是否有違規(guī)操作靜態(tài)數(shù)據(jù)以及動態(tài)數(shù)據(jù)的加密。

Spark與Hadoop相輔相成、互補共生

Hadoop主要包括三方面的功能：以HDFS為主的存儲功能，以MapReduce為代表的Batch處理功能以及以YARN為代表的scheduling功能。

說到Hadoop自然而然會讓人聯(lián)想到Spark，作為實時處理工具Spark在batch processing和streaming代表著下一代技術，并且在某些方面優(yōu)于MapReduce。那么，假以時日Spark會不會有取代Hadoop的可能，Doug Cutting給出的答案當然是否定的：“我覺得Spark不可能取代Hadoop，它能夠取代部分Hadoop的功能，比如說取代MapReduce，二者之間更多的是互補的關系而不是競爭的關系。在存儲和scheduling不可能取代Hadoop，Hadoop在batch或streaming處理方面比Spark更強大；在搜索方面很多又是Spark搜不到的，所以Spark只是相當于開源集群計算的框架，它并不能完全取代Hadoop。Cloudera不光是支持Hadoop，也支持Spark，我們是Hadoop+Spark這樣的公司。”

Cloudera現(xiàn)在參與的項目有20多個，包括Hadoop、Spark、HBace等生態(tài)系統(tǒng)內(nèi)的項目，也擁有超過100個對于技術和系統(tǒng)都非常資深的技術開發(fā)者。其實用戶特別希望開源社區(qū)以開源形式開發(fā)軟件，開源社區(qū)要進一步發(fā)展需要這些廠商來提供支持。作為開源廠商，到底是不是一個商業(yè)模式放之四海皆準，現(xiàn)在整個行業(yè)都在探索這個問題。Doug Cutting指出：“Cloudera的核心平臺是開源的，但是我們可以賣一些加載在核心平臺上的軟件，這種軟件可以讓客戶更好的管理他的數(shù)據(jù)，更多地對管理工具進行優(yōu)化，包括優(yōu)化、監(jiān)控數(shù)據(jù)的管理工具，以收費的方式可以進行出售，我相信是比較成功的。”

中國企業(yè)為整個Hadoop的開源社區(qū)做了大量的貢獻

Doug Cutting不僅任職于Cloudera，同時也是Apache軟件基金會的理事。在基金會里，有很多企業(yè)參與Hadoop的研發(fā)，整個Hadoop版本發(fā)布速度非?？?。當然，這其中的也不乏來自中國的代碼貢獻者，Doug Cutting表示：“中國的企業(yè)為整個Hadoop的開源社區(qū)做了大量的貢獻，例如華為、阿里巴巴、騰訊等企業(yè)不但是Hadoop的使用者，同時也是Hadoop技術的貢獻者。”目前，90%的Hadoop軟件運行于Hadoop系統(tǒng)平臺上，其中很多軟件都是基于Hadoop平臺之外的開發(fā)。Doug Cutting強調(diào)：“在整個生態(tài)系統(tǒng)環(huán)境內(nèi)我們會打造一個非常豐富的生態(tài)系統(tǒng)，讓更多的參與者能夠進行開發(fā)。”

Cloudera除了與清華大學合作之外，在海外也跟其他大學展開了合作，其中包括美國、新加坡等地的大學，也包括歐洲的一些大學和研究機構(gòu)。Doug Cutting表示：“我們合作的主要形式就是提供免費的課程，這些全套免費的課程我們開發(fā)了很多年，免費提供給這樣的大學共同展開合作。我們在中國選取的第一個合作方是清華大學，今后將會與更多的中國大學展開合作。”

本文標題：對話Hadoop之父DougCutting：Spark與Hadoop互補共生
文章網(wǎng)址：http://www.rwnh.cn/article20/socpjo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供服務器托管、App設計、企業(yè)建站、品牌網(wǎng)站建設、網(wǎng)站建設、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)