請參考 上一個 鏈接地址：
hdfs為什么不擅長存儲大量小文件
https://blog.51cto.com/12445535/2354951

浦城網(wǎng)站建設公司創(chuàng)新互聯(lián)公司,浦城網(wǎng)站設計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為浦城近千家提供企業(yè)網(wǎng)站建設服務。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設公司要多少錢，請找那個售后服務好的浦城做網(wǎng)站的公司定做！

概述：namenode replication（復制）
復制

默認塊復制因子（dfs.replication）為3。復制影響磁盤空間但不影響內(nèi)存消耗。復制會更改每個塊所需的存儲量，但不會更改塊的數(shù)量。如果DataNode上的一個塊文件（由NameNode上的一個塊表示）被復制三次，則塊文件的數(shù)量將增加三倍，但不會代表它們的塊數(shù)。

關(guān)閉復制時，一個192 MB的文件占用192 MB的磁盤空間和大約450字節(jié)的內(nèi)存。
//(計算方式為：128+64 也就是1個文件inode+2個塊 3150 大約消耗 450字節(jié)的內(nèi)存)
如果你有一百萬個這樣的文件，或192 TB的數(shù)據(jù)，你需要192 TB的磁盤空間，而不考慮RPC工作負載，450 MB內(nèi)存：（100萬inode + 200萬個塊） 150個字節(jié)。啟用默認復制后，您需要576 TB的磁盤空間：（192 TB * 3）但內(nèi)存使用率保持不變，450 MB。當您考慮簿記和RPC，并遵循每百萬個塊1 GB堆內(nèi)存的建議時，對此方案更安全的估計是2 GB內(nèi)存（有或沒有復制）。

---

例子
示例1：估計使用的NameNode堆內(nèi)存

Alice，Bob和Carl每個磁盤上都有1 GB（1024 MB）的數(shù)據(jù)，但切成不同大小的文件。 Alice和Bob的文件是塊大小的一部分，需要的內(nèi)存最少。 Carl沒有用不必要的命名空間對象填充堆。
Alice：1 x 1024 MB文件

????1個文件inode
????8塊（1024 MB / 128 MB）

總計= 9個對象* 150個字節(jié)= 1,350個字節(jié)的堆內(nèi)存
Bob：8 x 128 MB文件

????8個文件inode
????8個塊

總計= 16個對象* 150個字節(jié)= 2,400個字節(jié)的堆內(nèi)存
Carl：1,024 x 1 MB文件

????1,024個文件inode
????1,024個街區(qū)

總計= 2,048個對象* 150個字節(jié)= 307,200個字節(jié)的堆內(nèi)存

**計算實例//生產(chǎn)可用 根據(jù)已知磁盤大小去計算需要多大的namenode堆內(nèi)存

示例2：估計所需的NameNode堆內(nèi)存**

在該示例中，通過考慮群集的容量來估計存儲器。值四舍五入。兩個集群都物理存儲4800 TB或大約3600萬個塊文件（默認塊大?。?。復制確定有多少名稱空間塊代表這些塊文件。
群集A：每個24 TB的200個主機= 4800 TB。

????Blocksize = 128 MB，復制= 1
????以MB為單位的群集容量：200 24,000,000 MB = 4,800,000,000 MB（4800 TB）
????每個塊所需的磁盤空間：每塊128 MB 1 =每塊128 MB存儲空間
????塊中的群集容量：4,800,000,000 MB / 128 MB = 36,000,000塊

在容量方面，建議分配每百萬個塊1 GB的內(nèi)存，群集A需要36 GB的最大堆空間。
群集B：每個24 TB的200個主機= 4800 TB。

????Blocksize = 128 MB，復制= 3
????以MB為單位的群集容量：200 24,000,000 MB = 4,800,000,000 MB（4800 TB）
????每個塊所需的磁盤空間：每塊128 MB 3 =每塊384 MB存儲空間
????塊中的群集容量：4,800,000,000 MB / 384 MB = 12,000,000個塊

在容量方面，建議為每百萬個塊分配1 GB內(nèi)存，群集B需要12 GB的最大堆空間。

群集A和群集B都存儲相同數(shù)量的塊文件。但是，在群集A中，每個塊文件都是唯一的，并由NameNode上的一個塊表示;在群集B中，只有三分之一是唯一的，三分之二是副本。

新聞名稱：如何去計算hdfs中namenode中所需的堆內(nèi)存大小
URL網(wǎng)址：http://www.rwnh.cn/article10/gjhpgo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供域名注冊、微信公眾號、標簽優(yōu)化、網(wǎng)站維護、網(wǎng)站策劃、外貿(mào)網(wǎng)站建設

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)