1.客戶端或者用戶通過調(diào)用FileSystem對象的Open()方法打開需要讀取的文件，這時就是HDSF分布式系統(tǒng)所獲取的一個對象
2.FileSystem通過遠(yuǎn)程協(xié)議調(diào)用NameNode確定文件的前幾個Block的位置，對于每一個block,NameNode返回一個含有Block的元數(shù)據(jù)信息，接下來DataNode按照上面定義的距離(offSet偏移量)進行排序,如果Client本身即是一個DataNode,那么就會優(yōu)先從本地DataNode節(jié)點讀取數(shù)據(jù). HDFS完成上面的工作之后返回一個FSDatalnputStream給客戶端,讓其從FSDatalnputStream中讀取。FSDatalnputStream包裝了一個類DFSInputStream,用來管理DataNode和NameNode的I/O操作。
3.NameNode向客戶端返回一個包含了數(shù)據(jù)信息的地址,客戶端根據(jù)地址創(chuàng)建一個FSDDatalnputStream的對象開始進行數(shù)據(jù)的讀取
4.FSDatalnputStream根據(jù)開始存的前幾個Block的DataNode地址，連接到最近DataNode上對數(shù)據(jù)開始從頭讀取，客戶端會反復(fù)調(diào)用read()方法，以流的形式讀取DataNode這中的數(shù)據(jù)
5.當(dāng)讀取到Block的結(jié)尾的時候，F(xiàn)SDatalnputStream會關(guān)閉當(dāng)前DataNode的連接然后查找能否讀取下一個Block的DataNode位置信息,此時給客戶端產(chǎn)生的感覺就是數(shù)據(jù)是連續(xù)讀取的，也就說在讀取的時候開始查找下一個塊所在的地址。讀取完成時需要使用close()方法關(guān)閉FSDatalnputStream
HDFS寫流程：
1.Client通過調(diào)用FileSystem類的Create()方法請求創(chuàng)建文件
2.FileSystem通過對NameNode發(fā)出遠(yuǎn)程請求,在NameNode里面創(chuàng)建一個新的文件,但是此時并不關(guān)聯(lián)任何塊,NameNode進行很多檢查來保證不存在要創(chuàng)建文件已經(jīng)在系統(tǒng)中,同時檢查是否有相當(dāng)權(quán)限來創(chuàng)建文件，如果這些都檢查完了,那么NamdNode會記錄下這個新文件的信息。FileSystem返回一個FSDatalnputStream給客戶端用來寫入數(shù)據(jù)，F(xiàn)SDatalnputStream將包裝一個DFsOutputStream用于對DataNode和NameNode的通信,一旦文件創(chuàng)建失敗,會給客戶端返回一個l0Exception表示文件創(chuàng)建失敗并停止任務(wù)
3.客戶端開始寫數(shù)據(jù)FSDatalnputStream把要寫的數(shù)據(jù)分成包的形式將其寫入到中間隊列中，其中的數(shù)據(jù)有DataStramer來讀取,DataStreamer的職責(zé)就是讓NameNode分配一個新的塊通過查找對應(yīng)DataNode來存數(shù)據(jù),來存儲的數(shù)據(jù)會被備份出一個副本,存儲到其他節(jié)點完成數(shù)據(jù)寫入即可
4.FSDatalnputStream維護了一個內(nèi)部關(guān)于packets的隊列,里面存放著等待被DataNode確認(rèn)的信息,一旦數(shù)據(jù)信息寫入DataNode成功后,就會從隊列中移除
5.當(dāng)數(shù)據(jù)完成寫入之后客戶會調(diào)用close方法,通過NameNode完成寫入之前通過一個方法flush將殘留數(shù)據(jù)一起寫進去。和NameNode確定寫入的位置信息，并返回成功狀態(tài)。

創(chuàng)新互聯(lián)是一家專注于網(wǎng)站設(shè)計制作、成都網(wǎng)站設(shè)計與策劃設(shè)計,淮南網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十載,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:淮南等地區(qū)?；茨献鼍W(wǎng)站價格咨詢:13518219792

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：好程序員大數(shù)據(jù)學(xué)習(xí)路線分享HDFS讀流程-創(chuàng)新互聯(lián)
網(wǎng)頁路徑：http://www.rwnh.cn/article24/dhphje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、外貿(mào)建站、做網(wǎng)站、網(wǎng)站維護、用戶體驗、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)