一、概要

這篇文章，給大家聊聊分布式文件系統(tǒng)HDFS在大量客戶端并發(fā)寫(xiě)數(shù)據(jù)時(shí)，如何進(jìn)行性能優(yōu)化?

二、背景引入

先引入一個(gè)小的背景，假如多個(gè)客戶端同時(shí)要并發(fā)的寫(xiě)Hadoop HDFS上的一個(gè)文件，這個(gè)事兒能成嗎?

明顯不可以接受啊，因?yàn)镠DFS上的文件是不允許并發(fā)寫(xiě)的，比如并發(fā)的追加一些數(shù)據(jù)什么。

所以HDFS里有一個(gè)機(jī)制，叫做文件契約機(jī)制。

也就是說(shuō)，同一時(shí)間只能有一個(gè)客戶端獲取NameNode上面一個(gè)文件的契約，然后才可以寫(xiě)入數(shù)據(jù)。

此時(shí)如果其他客戶端嘗試獲取文件契約的時(shí)候，就獲取不到，只能干等著。

通過(guò)這個(gè)機(jī)制，可以保證同一時(shí)間只有一個(gè)客戶端在寫(xiě)一個(gè)文件。

在獲取到了文件契約之后，在寫(xiě)文件的過(guò)程期間，那個(gè)客戶端需要開(kāi)啟一個(gè)線程，不停的發(fā)送請(qǐng)求給NameNode進(jìn)行文件續(xù)約，告訴NameNode：

• NameNode大哥，我還在寫(xiě)文件啊，你給我一直保留那個(gè)契約好嗎?

而NameNode內(nèi)部有一個(gè)專(zhuān)門(mén)的后臺(tái)線程，負(fù)責(zé)監(jiān)控各個(gè)契約的續(xù)約時(shí)間。

如果某個(gè)契約很長(zhǎng)時(shí)間沒(méi)續(xù)約了，此時(shí)就自動(dòng)過(guò)期掉這個(gè)契約，讓別的客戶端來(lái)寫(xiě)。

說(shuō)了這么多，老規(guī)矩，給大家來(lái)一張圖，直觀的感受一下整個(gè)過(guò)程。

這個(gè)機(jī)制的優(yōu)化對(duì)性能的提升是相當(dāng)有幫助的，因?yàn)檎?lái)說(shuō)，過(guò)期的契約肯定還是占少數(shù)，所以壓根兒不用每次都遍歷所有的契約來(lái)檢查是否過(guò)期。

我們只需要檢查續(xù)約時(shí)間最舊的那幾個(gè)契約就可以了，如果一個(gè)契約過(guò)期了，那么就刪掉那個(gè)契約，然后再檢查第二舊的契約好了。以此類(lèi)推。

通過(guò)這個(gè)TreeSet排序 + 優(yōu)先檢查最舊契約的機(jī)制，有效的將大規(guī)模集群下的契約監(jiān)控機(jī)制的性能提升至少10倍以上，這種思想是非常值得我們學(xué)習(xí)和借鑒的。

給大家稍微引申一下，在Spring Cloud微服務(wù)架構(gòu)中，Eureka作為注冊(cè)中心其實(shí)也有續(xù)約檢查的機(jī)制，跟Hadoop是類(lèi)似的。

但是在Eureka中就沒(méi)有實(shí)現(xiàn)類(lèi)似的續(xù)約優(yōu)化機(jī)制，而是暴力的每一輪都遍歷所有的服務(wù)實(shí)例的續(xù)約時(shí)間。

如果你面對(duì)的是一個(gè)大規(guī)模部署的微服務(wù)系統(tǒng)呢，情況就不妙了!

部署了幾十萬(wàn)臺(tái)機(jī)器的大規(guī)模系統(tǒng)，有幾十萬(wàn)個(gè)服務(wù)實(shí)例的續(xù)約信息駐留在Eureka的內(nèi)存中，難道每隔幾秒鐘都要遍歷幾十萬(wàn)個(gè)服務(wù)實(shí)例的續(xù)約信息嗎?

最后給大家提一句，優(yōu)秀的開(kāi)源項(xiàng)目，蘊(yùn)含著很多優(yōu)秀的設(shè)計(jì)思想。多看各種優(yōu)秀開(kāi)源項(xiàng)目的源碼，是短時(shí)間內(nèi)快速、大幅度提升一個(gè)人的技術(shù)功底和技術(shù)水平的方式，大家不妨嘗試一下。

網(wǎng)站名稱：一個(gè)簡(jiǎn)單的算法，分布式系統(tǒng)的性能瞬間被提升10倍以上
標(biāo)題網(wǎng)址：http://www.rwnh.cn/news8/97958.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、App開(kāi)發(fā)、網(wǎng)站營(yíng)銷(xiāo)、ChatGPT、小程序開(kāi)發(fā)、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)