原文在此

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：國際域名空間、虛擬主機、營銷軟件、網(wǎng)站建設、軹城網(wǎng)站維護、網(wǎng)站推廣。

https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

hadoop 兩大組件 mapreduce和hdfs

用HDFS的目標

避免硬件故障

硬件故障是常態(tài)，而不是例外。一個HDFS實例可能包括數(shù)百或數(shù)千個服務器，存儲文件系統(tǒng)的部分數(shù)據(jù)。事實上，有大量的組件，每個組件都有一個非平凡的失效概率意味著HDFS的一些組件總是非功能。因此，故障的快速檢測，從自動的恢復是HDFS的一個核心構架目標。

流式數(shù)據(jù)訪問

應用程序運行在HDFS需要流媒體訪問他們的數(shù)據(jù)集。它們不是一般用途的文件系統(tǒng)上運行的通用應用程序。HDFS被設計為批處理，而不是由用戶交互使用。重點是高吞吐量的數(shù)據(jù)訪問，而不是低延遲的數(shù)據(jù)訪問。POSIX的一些要求是不是有針對性的HDFS的應用所需要的。在幾個關鍵的領域POSIX語義被交易來增加數(shù)據(jù)吞吐量。

大數(shù)據(jù)集

HDFS上運行的應用程序有大量的數(shù)據(jù)集。HDFS中典型的文件大小百萬兆字節(jié)字節(jié)。因此，HDFS被調諧到支持大文件。它應該為單個集群中的數(shù)百個節(jié)點提供高聚合數(shù)據(jù)帶寬和規(guī)模。它應該在一個實例中支持數(shù)以千萬計的文件。

一致性模型

HDFS的應用需要寫一次讀文件的許多訪問模型。創(chuàng)建、寫入和關閉的文件不需要更改。這種假設簡化了數(shù)據(jù)一致性問題，并允許高吞吐量數(shù)據(jù)訪問。MapReduce應用程序或Web爬蟲應用程序非常適合這個模型。有一個計劃支持在將來追加對文件的寫操作。

移動計算比移動數(shù)據(jù)便宜

應用程序請求的計算如果在其所運行的數(shù)據(jù)附近執(zhí)行，則效率要高得多。當數(shù)據(jù)集的大小是巨大的時，情況尤其如此。這減少了網(wǎng)絡擁塞，提高了系統(tǒng)的總體吞吐量。假設是，將計算遷移到數(shù)據(jù)位置的位置通常更好，而不是將數(shù)據(jù)移動到應用程序運行的地方。HDFS提供的接口的應用將更接近數(shù)據(jù)所在。

跨異構硬件和軟件平臺的可移植性

HDFS被設計為可以很容易從一個平臺移植到另一個。這有利于廣泛采用HDFS作為一個大的應用平臺的選擇。

節(jié)點和數(shù)據(jù)節(jié)點

HDFS有主從式架構。一個HDFS集群由一個單一的節(jié)點，一個主服務器，管理文件系統(tǒng)的命名空間和調節(jié)客戶訪問文件。此外，有多個數(shù)據(jù)節(jié)點，通常每一個節(jié)點的集群，其中管理連接到節(jié)點，它們運行在存儲。HDFS文件系統(tǒng)命名空間暴露并允許用戶將數(shù)據(jù)存儲在文件中。在內部，一個文件被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組數(shù)據(jù)節(jié)點。Namenode執(zhí)行文件系統(tǒng)的命名空間操作如打開，關閉，和重命名文件和目錄。這也決定了數(shù)據(jù)塊到數(shù)據(jù)節(jié)點的映射。數(shù)據(jù)節(jié)點負責為讀寫文件系統(tǒng)的客戶端的請求。數(shù)據(jù)節(jié)點執(zhí)行創(chuàng)建，刪除，并從NameNode在指令復制。

原理圖

復制原理

HDFS的設計可靠地存儲非常大的文件在機器在一大簇。它將每個文件存儲成一組塊；除了最后一個塊之外，文件中的所有塊都是相同的大小。文件的塊被復制用于容錯。塊大小和復制因子可配置為每個文件。應用程序可以指定文件副本的個數(shù)。復制因子可以在文件創(chuàng)建時指定，以后可以更改。文件在HDFS寫一次，隨時都有嚴格的作家。

對于復制塊的所有決定。它定期收到的心跳，從集群中的每個數(shù)據(jù)節(jié)點blockreport。一個心跳的收據(jù)表明DataNode運行正常。一個blockreport列出所有在DataNode塊。

翻譯文，請笑納。。。。

FS Shell 文件操作

Action

Command

Create a directory named /foodir

bin/hadoop dfs -mkdir /foodir

Remove a directory named /foodir

bin/hadoop dfs -rmr /foodir

View the contents of a file named /foodir/myfile.txt

bin/hadoop dfs -cat /foodir/myfile.txt

FS shell is targeted for applications that need a scripting language to interact with the stored data.

DFSAdmin

The DFSAdmin command set is used for administering an HDFS cluster. These are commands that are used only by an HDFS administrator. Here are some sample action/command pairs:

Action

Command

Put the cluster in Safemode

bin/hadoop dfsadmin -safemode enter

Generate a list of DataNodes

bin/hadoop dfsadmin -report

Recommission or decommission DataNode(s)

bin/hadoop dfsadmin -refreshNodes

api的鏈接如下，可以用c或者java

http://hadoop.apache.org/docs/current/api/

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網(wǎng)頁名稱：HDFS實驗(一)原理-創(chuàng)新互聯(lián)
本文鏈接：http://www.rwnh.cn/article32/csepsc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供外貿建站、用戶體驗、ChatGPT、品牌網(wǎng)站建設、企業(yè)網(wǎng)站制作、網(wǎng)站維護

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)