創(chuàng)新互聯(lián)專業(yè)IDC數(shù)據(jù)服務(wù)器托管提供商，專業(yè)提供成都服務(wù)器托管，服務(wù)器租用，服務(wù)器主機(jī)托管，服務(wù)器主機(jī)托管，成都多線服務(wù)器托管等服務(wù)器托管服務(wù)。

本篇文章為大家展示了Hadoop中NameNode元數(shù)據(jù)的原理是什么，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過這篇文章的詳細(xì)介紹希望你能有所收獲。

在對(duì)NameNode節(jié)點(diǎn)進(jìn)行格式化時(shí)，調(diào)用了FSImage的saveFSImage()方法和FSEditLog.createEditLogFile()存儲(chǔ)當(dāng)前的元數(shù)據(jù)。Namenode主要維護(hù)兩個(gè)文件，一個(gè)是fsimage，一個(gè)是editlog。

fsimage ：保存了最新的元數(shù)據(jù)檢查點(diǎn)，包含了整個(gè)HDFS文件系統(tǒng)的所有目錄和文件的信息。對(duì)于文件來說包括了數(shù)據(jù)塊描述信息、修改時(shí)間、訪問時(shí)間等；對(duì)于目錄來說包括修改時(shí)間、訪問權(quán)限控制信息(目錄所屬用戶，所在組)等。簡(jiǎn)單的說，F(xiàn)simage就是在某一時(shí)刻，整個(gè)hdfs 的快照，就是這個(gè)時(shí)刻hdfs上所有的文件塊和目錄，分別的狀態(tài)，位于哪些個(gè)datanode，各自的權(quán)限，各自的副本個(gè)數(shù)等。

注意：Block的位置信息不會(huì)保存到fsimage，Block保存在哪個(gè)DataNode（由DataNode啟動(dòng)時(shí)上報(bào)）。

editlog ：主要是在NameNode已經(jīng)啟動(dòng)情況下對(duì)HDFS進(jìn)行的各種更新操作進(jìn)行記錄，HDFS客戶端執(zhí)行所有的寫操作都會(huì)被記錄到editlog中。

讀取元數(shù)據(jù)：
啟動(dòng)NameNode節(jié)點(diǎn)時(shí)，又要從鏡像和編輯日志中讀取元數(shù)據(jù)。

寫入元數(shù)據(jù)：
在NameNode運(yùn)行時(shí)會(huì)將內(nèi)存中的元數(shù)據(jù)信息存儲(chǔ)到所指定的文件，即${dfs.name.dir}/current目錄下的fsimage文件，此外還會(huì)將另外一部分對(duì)NameNode更改的日志信息存儲(chǔ)到${dfs.name.dir}/current目錄下的edits文件中。fsimage文件和edits文件可以確定NameNode節(jié)點(diǎn)當(dāng)前的狀態(tài)，這樣在NameNode節(jié)點(diǎn)由于突發(fā)原因崩潰時(shí)，可以根據(jù)這兩個(gè)文件中的內(nèi)容恢復(fù)到節(jié)點(diǎn)崩潰前的狀態(tài)，所以對(duì)NameNode節(jié)點(diǎn)中內(nèi)存元數(shù)據(jù)的每次修改都必須保存下來。但是如果每次都保存到fsimage文件中，這樣效率就特別低效，所以引入編輯日志文件edits，保存對(duì)對(duì)元數(shù)據(jù)的修改信息，也就是fsimage文件保存NameNode節(jié)點(diǎn)中某一時(shí)刻內(nèi)存中的元數(shù)據(jù)（即目錄樹），edits保存這一時(shí)刻之后的對(duì)元數(shù)據(jù)的更改信息。

鏡像的保存：

 SecondaryNameNode：主要由兩個(gè)作用，一是鏡像備份（不是NN的備份，但可以做備份），二是日志與鏡像的定期合并。

第一步：將hdfs更新記錄寫入一個(gè)新的文件——edits.new。
第二步：將fsimage和editlog通過http協(xié)議發(fā)送至secondary namenode。
第三步：將fsimage與editlog合并，生成一個(gè)新的文件——fsimage.ckpt。這步之所以要在secondary namenode中進(jìn)行，是因?yàn)楸容^耗時(shí)，如果在namenode中進(jìn)行，或?qū)е抡麄€(gè)系統(tǒng)卡頓。
第四步：將生成的fsimage.ckpt通過http協(xié)議發(fā)送至namenode。
第五步：重命名fsimage.ckpt為fsimage，edits.new為edits。

第六步：等待下一次checkpoint觸發(fā)SecondaryNameNode進(jìn)行工作，一直這樣循環(huán)操作。

注：checkpoint觸發(fā)的條件可以在core-site.xml文件中進(jìn)行配置。fs.checkpoint.period表示多長(zhǎng)時(shí)間記錄一次hdfs的鏡像。默認(rèn)是1小時(shí)。fs.checkpoint.size表示一次記錄多大的size，默認(rèn)64M。例如如下：
<property> 
<name>fs.checkpoint.period</name> 
<value>3600</value> 
<description>The number of seconds between two periodic checkpoints. 
</description> 
</property> 

<property> 
<name>fs.checkpoint.size</name> 
<value>67108864</value> 
<description>The size of the current edit log (in bytes) that triggers 
a periodic checkpoint even if the fs.checkpoint.period hasn't expired. 
</description> 
</property>

上述內(nèi)容就是Hadoop中NameNode元數(shù)據(jù)的原理是什么，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

本文名稱：Hadoop中NameNode元數(shù)據(jù)的原理是什么-創(chuàng)新互聯(lián)
網(wǎng)站地址：http://www.rwnh.cn/article44/dpegee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、建站公司、網(wǎng)站收錄、網(wǎng)站營(yíng)銷、小程序開發(fā)、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)