成都創(chuàng)新互聯(lián)專注于企業(yè)全網(wǎng)營銷推廣、網(wǎng)站重做改版、潁州網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、電子商務(wù)商城網(wǎng)站建設(shè)、集團公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為潁州等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

NameNode在啟動的時候，需要將Mettadata加載到內(nèi)存中去，隨著集群擴大，元數(shù)據(jù)的量也隨之增加，內(nèi)存壓力過大。

Hadoop1.x的缺點和解決辦法：

1. 單點故障------à HA  一主多備

2. 內(nèi)存受限 -----àNN Federation 

1. Hadoop節(jié)點之間的通信都是采用心跳機制。

2. 元數(shù)據(jù)放在一片共享區(qū)（主NN和備NN共享）稱為Journal Node 集群

3. 所有DN節(jié)點都要實時向主NN或備NN通信，告知NN自己有哪么些block等信息。

4. 至于DN具體要向NN（主）還是NN(備)，它會向zookeeper請示，zookeer知道那個節(jié)點是主，并知道它的狀態(tài)。

5. 當主NN的狀態(tài)由FailoverControllerActive進行心跳檢測，通知zookeeper，并在它發(fā)生故障時，做切換，同樣備NN也有相應(yīng)的FailoverControllerStandby   。

6. 通過命令可手動停止主NN啟動備NN，甚至調(diào)換角色，用于HDFS升級等場合

NN Fderation：將HDFS分成多個完全獨立的NN的運行，彼此互不干擾，但是集群共享DN

 

1. 多個NN共用一個集群里DN上的存儲資源，每個NN都可以單獨對外提供服務(wù)

2. 每個NN都會定義一個存儲池，有單獨的id，每個DN都為所有存儲池提供存儲

3. DN會按照存儲池id向其對應(yīng)的NN匯報塊信息，同時，DN會向所有NN匯報本地存儲可用資源情況

4. 如果需要在客戶端方便的訪問若干個NN上的資源，可以使用客戶端掛載表，把不同的目錄映射到不同的NN，但NN上必須存在相應(yīng)的目錄

Yarn主要功能：

1. 負責資源管理，任務(wù)調(diào)度

2. 支持多種第三方計算框架

 

文章名稱：Hadoop2.x與hadoop的區(qū)別
標題來源：http://www.rwnh.cn/article0/jdjgio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)站排名、軟件開發(fā)、小程序開發(fā)、App設(shè)計、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)