1、Cloudera Manager包含內(nèi)部機(jī)架感知腳本，但您必須指定群集中主機(jī)所在的機(jī)架。如果您的群集包含10個(gè)以上的主機(jī)，Cloudera建議您為每個(gè)主機(jī)指定機(jī)架。 HDFS，MapReduce和YARN將自動(dòng)使用您指定的機(jī)架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html

成都創(chuàng)新互聯(lián)公司專注于大興網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供大興營(yíng)銷型網(wǎng)站建設(shè)，大興網(wǎng)站制作、大興網(wǎng)頁(yè)設(shè)計(jì)、大興網(wǎng)站官網(wǎng)定制、微信小程序開(kāi)發(fā)服務(wù)，打造大興網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供大興網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

2、cdh不同版本支持的操作系統(tǒng) 參考鏈接為
https://blog.csdn.net/high3011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

3、停用主機(jī)停用并停止主機(jī)上的所有角色，而無(wú)需單獨(dú)停用每個(gè)服務(wù)上的角色。 退役僅適用于HDFS DataNode，MapReduce TaskTracker，YARN NodeManager和HBase RegionServer角色。 如果主機(jī)上運(yùn)行了其他角色，則會(huì)停止這些角色。在主機(jī)上的所有角色都已停用并停止后，可以從服務(wù)中刪除主機(jī)。 您可以并行停用多個(gè)主機(jī)。

4、如果DataNode的數(shù)量等于HDFS中存儲(chǔ)的任何文件的復(fù)制因子（默認(rèn)值為3），則無(wú)法停用DataNode或具有DataNode的主機(jī)。例如，如果任何文件的復(fù)制因子為3，并且您有三個(gè)DataNode，則無(wú)法停用DataNode或具有DataNode的主機(jī)。如果在這種情況下嘗試停用DataNode或具有DataNode的主機(jī)，則DataNode將被停用，但停用過(guò)程將無(wú)法完成。您必須中止退役并重新啟動(dòng)DataNode。
//這句話的意思就是 只有3臺(tái)datanode 但是你要停用一臺(tái)，但是復(fù)制因子是3 必須修改復(fù)制因子之后，才可以停用一臺(tái)datanode
注意：退出DataNode時(shí)，不會(huì)從存儲(chǔ)目錄中刪除數(shù)據(jù)塊。您必須手動(dòng)刪除數(shù)據(jù)。

5、當(dāng)一個(gè)DataNode退役時(shí)，NameNode確保來(lái)自DataNode的每個(gè)塊仍然可以在復(fù)制因子的指示下在整個(gè)群集中可用。 此過(guò)程涉及以小批量從DataNode復(fù)制塊。 如果DataNode有數(shù)千個(gè)塊，則退役可能需要幾個(gè)小時(shí)。 在使用DataNodes停用主機(jī)之前，您應(yīng)首先調(diào)整HDFS：
(1、)運(yùn)行以下命令以識(shí)別HDFS文件系統(tǒng)中的任何問(wèn)題：
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations 2>&1 > /tmp/hdfs-fsck.txt
(2、)修復(fù)fsck命令報(bào)告的任何問(wèn)題。 如果命令輸出列出了損壞的文件，請(qǐng)使用fsck命令將它們移動(dòng)到lost + found目錄或刪除它們：
hdfs fsck file_name -move 或者 hdfs fsck file_name -delete
(3、)提高DataNodes的堆大小。 DataNodes應(yīng)配置至少4 GB的堆大小，以允許迭代和大流的增加。
????轉(zhuǎn)到HDFS服務(wù)頁(yè)面。
????單擊“配置”選項(xiàng)卡。
????選擇Scope> DataNode。
????選擇類別>資源管理。
????按建議設(shè)置“字節(jié)數(shù)”中的“數(shù)據(jù)堆大小”。
(4、)設(shè)置DataNode平衡帶寬：
???? 選擇Scope> DataNode。
???? 展開(kāi)“類別”>“性能”類別。
???? 將DataNode Balancing Bandwidth屬性配置為磁盤和網(wǎng)絡(luò)上的帶寬。 您可以使用低于此值的值，以便大限度地減少退役對(duì)群集的影響，但權(quán)衡是退役將需要更長(zhǎng)時(shí)間。
???? 單擊“保存更改”以提交更改。
(5、)將每次迭代的復(fù)制工作乘數(shù)增加到更大的數(shù)字（默認(rèn)值為2，但建議為10）：
???? 選擇Scope> NameNode。
???? 展開(kāi)“類別”>“高級(jí)”類別。
???? 將“每次迭代復(fù)制工作乘數(shù)”屬性配置為值10，例如10。
???? 要根據(jù)需要將此配置屬性應(yīng)用于其他角色組，請(qǐng)編輯相應(yīng)角色組的值。 請(qǐng)參閱使用Cloudera Manager修改配置屬性。
???? 單擊“保存更改”以提交更改。
(6、)增加復(fù)制大線程數(shù)和大復(fù)制線程硬限制：
???? 選擇Scope> NameNode。
???? 展開(kāi)“類別”>“高級(jí)”類別。
???? 將DataNode上的大復(fù)制線程數(shù)和DataNode屬性上復(fù)制線程數(shù)的硬限制分別配置為50和100。 您可以減少線程數(shù)（或使用默認(rèn)值）以最小化退役對(duì)群集的影響，但權(quán)衡是退役將花費(fèi)更長(zhǎng)時(shí)間。
???? 要根據(jù)需要將此配置屬性應(yīng)用于其他角色組，請(qǐng)編輯相應(yīng)角色組的值。 請(qǐng)參閱使用Cloudera Manager修改配置屬性。
???? 單擊“保存更改”以提交更改。
(7、)重啟HDFS服務(wù)。
有關(guān)其他調(diào)整建議，請(qǐng)參閱性能注意事項(xiàng)。
參考鏈接為 ： https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_decomm_host.html

6、在退役DataNode之前調(diào)整HBase
要提高滾動(dòng)重新啟動(dòng)HBase服務(wù)的速度，請(qǐng)將Region Mover Threads屬性設(shè)置為更高的值。這增加了可以并行移動(dòng)的區(qū)域的數(shù)量，但是對(duì)HMaster施加了額外的壓力。在大多數(shù)情況下，Region Mover Threads應(yīng)設(shè)置為5或更低。重新啟動(dòng)主機(jī)
只有使用Cloudera Manager退役的主機(jī)才能重新啟動(dòng)。

7、退役datanode
性能注意事項(xiàng)
（1）退出DataNode不會(huì)立即發(fā)生，因?yàn)樵撨^(guò)程需要復(fù)制可能大量的塊。在淘汰期間，群集的性能可能會(huì)受到影響。
退役分兩步進(jìn)行：
第一步：?DataNode的委員會(huì)狀態(tài)標(biāo)記為退役，數(shù)據(jù)從此節(jié)點(diǎn)復(fù)制到其他可用節(jié)點(diǎn)。在復(fù)制所有塊之前，節(jié)點(diǎn)仍處于退役狀態(tài)。您可以從NameNode Web UI查看此狀態(tài)。 （轉(zhuǎn)到HDFS服務(wù)并選擇Web UI> NameNode Web UI。）當(dāng)所有數(shù)據(jù)塊都復(fù)制到其他節(jié)點(diǎn)時(shí)，該節(jié)點(diǎn)將標(biāo)記為“已停用”。
第二步：當(dāng)所有數(shù)據(jù)塊都復(fù)制到其他節(jié)點(diǎn)時(shí)，該節(jié)點(diǎn)將標(biāo)記為“已停用”。
退役可以通過(guò)以下方式影響性能：
A 其他活動(dòng)DataNode上必須有足夠的磁盤空間才能復(fù)制數(shù)據(jù)。 在退役之后，剩余的活動(dòng)DataNode具有更多塊，因此將來(lái)停用這些DataNode可能需要更多時(shí)間。
B 在復(fù)制數(shù)據(jù)塊時(shí)，將增加網(wǎng)絡(luò)流量和磁盤I / O.
C 數(shù)據(jù)平衡和數(shù)據(jù)位置可能會(huì)受到影響，這可能會(huì)導(dǎo)致任何正在運(yùn)行或提交的作業(yè)的性能下降。
D 同時(shí)停用大量DataNode會(huì)降低性能。
E 如果要淘汰少數(shù)DataNode，那么從這些節(jié)點(diǎn)讀取數(shù)據(jù)的速度會(huì)限制退役的性能，因?yàn)楫?dāng)從DataNode讀取數(shù)據(jù)塊時(shí)，退役會(huì)大化網(wǎng)絡(luò)帶寬，并將用于復(fù)制塊的帶寬擴(kuò)展到其他DataNode中。 簇。 為避免群集中的性能影響，Cloudera建議您僅同時(shí)停用少數(shù)DataNode。
F 您可以減少可用于平衡DataNode的帶寬和復(fù)制線程的數(shù)量，以降低復(fù)制的性能影響，但這將導(dǎo)致退役過(guò)程需要更長(zhǎng)時(shí)間才能完成。 請(qǐng)參閱在退役DataNode之前調(diào)整HDFS。

//Cloudera建議您以較小的組并行添加DataNode和停用DataNode。 例如，如果復(fù)制因子為3，則應(yīng)添加兩個(gè)DataNode并同時(shí)停用兩個(gè)DataNode。

8、排除退役性能
退役DataNode時(shí)，以下條件也會(huì)影響性能：
（???? 打開(kāi)文件
???? 無(wú)法重定位塊，因?yàn)闆](méi)有足夠的DataNode來(lái)滿足塊放置策略。）
打開(kāi)文件
???? DataNode上的寫操作不涉及NameNode。 如果存在與位于DataNode上的打開(kāi)文件關(guān)聯(lián)的塊，則在文件關(guān)閉之前不會(huì)重定位它們。 這通常發(fā)生在：
???????? 使用HBase的集群
???????? 打開(kāi)Flume文件
???????? 長(zhǎng)期運(yùn)行的任務(wù)

要查找和關(guān)閉打開(kāi)的文件：分為一下5步
第一步：
登錄NameNode主機(jī)，切換到日志目錄。
可以使用NameNode日志目錄屬性配置此目錄的位置。 默認(rèn)情況下，此目錄位于：/var/log/hadoop-hdfs/
第二步：
運(yùn)行以下命令以驗(yàn)證日志是否提供了所需的信息：
grep "Is current datanode" NAME | head
日志文件的第六列顯示塊ID，該消息應(yīng)與DataNode退役相關(guān)。 執(zhí)行以下命令，查看相關(guān)日志條目：
grep "Is current datanode" NAME | awk '{print $6}' | sort -u > blocks.open
第三步：
運(yùn)行以下命令以返回打開(kāi)文件，其塊以及這些塊的位置列表：
hadoop fsck / -files -blocks -locations -openforwrite 2>&1 > openfiles.out
第四步：
查看由命令為顯示blocks.open的塊創(chuàng)建的openfiles.out文件。 還要驗(yàn)證DataNode IP地址是否正確。
第五步：
使用打開(kāi)的文件列表，執(zhí)行相應(yīng)的操作以重新啟動(dòng)進(jìn)程以關(guān)閉文件。
例如，主要壓縮會(huì)關(guān)閉HBase區(qū)域中的所有文件。

無(wú)法重定位塊，因?yàn)闆](méi)有足夠的DataNode來(lái)滿足塊放置策略。
???? 例如對(duì)于10節(jié)點(diǎn)集群，如果在嘗試取消配置一個(gè)DataNode時(shí)將mapred.submit.replication設(shè)置為默認(rèn)值10，則重新定位與map / reduce作業(yè)關(guān)聯(lián)的塊將會(huì)很困難。 此條件將導(dǎo)致NameNode日志中的錯(cuò)誤類似于以下內(nèi)容：
org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicyDefault: Not able to place enough replicas, still in need of 3 to reach 3
使用以下步驟查找塊復(fù)制策略等于或高于當(dāng)前群集大小的文件數(shù)：
第一步
通過(guò)運(yùn)行以下命令提供打開(kāi)文件，其塊以及這些塊的位置的列表：
???? hadoop fsck / -files -blocks -locations -openforwrite 2>＆1> openfiles.out
第二步：
運(yùn)行以下命令以返回具有給定復(fù)制因子的文件的列表：
???? grep repl= openfiles.out | awk '{print $NF}' | sort | uniq -c
???? 例如，當(dāng)復(fù)制因子為10時(shí)，退役一個(gè)：
???? egrep -B4 "repl=10" openfiles.out | grep -v '<dir>' | awk '/^\//{print $1}'
第三步
???? 檢查路徑，并決定是減少文件的復(fù)制因子，還是從群集中刪除它們。

9、刪除主機(jī)2種方式
1、?完全從Cloudera Manager中刪除主機(jī)。
2、 從群集中刪除主機(jī)，但將其保留給Cloudera Manager管理的其他群集
這兩種方法都會(huì)停用主機(jī)，刪除角色和刪除托管服務(wù)軟件，但會(huì)保留數(shù)據(jù)目錄。

10、
維護(hù)模式允許您禁止主機(jī)，服務(wù)，角色或整個(gè)群集的警報(bào)。 當(dāng)您需要在群集中執(zhí)行操作（進(jìn)行配置更改并重新啟動(dòng)各種元素）并且不希望看到由于這些操作而生成的警報(bào)時(shí)，這非常有用。
將實(shí)體置于維護(hù)模式不會(huì)阻止記錄事件; 它只會(huì)抑制那些事件會(huì)產(chǎn)生的警報(bào)。 您可以查看在這些實(shí)體處于維護(hù)模式期間為實(shí)體記錄的所有事件的歷史記錄。

參考鏈接：

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章標(biāo)題：cdh看完官方文檔后小結(jié)002-創(chuàng)新互聯(lián)
瀏覽路徑：http://www.rwnh.cn/article8/dsceop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、品牌網(wǎng)站設(shè)計(jì)、微信小程序、營(yíng)銷型網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)