一、背景
目前namenode使用了ha的部署模式,但系統(tǒng)會經(jīng)常出現(xiàn)ha的自動切換(namenode節(jié)點其實正常)。經(jīng)過調(diào)研發(fā)現(xiàn)可能的原因如下:
HealthMonitor check本地namenode的rpc端口時超時,導致HealthMonitor認為namenode掛掉。
zk上的session timeout,導致丟掉當前持有的active鎖(temp節(jié)點),引起自動切換。
二、優(yōu)化
下面的優(yōu)化將針對1)和2)調(diào)整相應的超時參數(shù),看是否起效。修改core-site.xml
<!-- HealthMonitor check namenode 的超時設(shè)置,默認50000ms,改為5mins --> <property> <name>ha.health-monitor.rpc-timeout.ms</name> <value>300000</value> </property> <!-- zk failover的session 超時設(shè)置,默認5000ms,改為3mins --> <property> <name>ha.zookeeper.session-timeout.ms</name> <value>180000</value> </property>
無,不需要重啟hadoop,不會引起namenode切換
下面操作假設(shè)master1(active),master2(standby),只有按照該順序操作,才能實現(xiàn)namenode不切換
1)登陸master2(standby),注釋掉crontab中的restart-zkfc.sh任務,
執(zhí)行
sbin/hadoop-daemon.sh stop zkfc
2)登陸master1(active),注釋掉crotab中的restart-zkfc.sh任務,執(zhí)行
sbin/hadoop-daemon.sh stop zkfc
3)備份master1和master2的core-site.xml文件,將上述配置項加到master1和master2的core-site.xml配置文件中
4)登陸master1(active),執(zhí)行
sbin/hadoop-daemon.sh start zkfc
5)登陸master2(standby),執(zhí)行
sbin/hadoop-daemon.sh start zkfc
6)check
hadoop集群狀態(tài)
7)重要!!!
登錄master1和master2,恢復crontab中的restart-zkfc.sh任務
8)完成
1)需要先注釋掉機器上的crontab任務restart-zkfc.sh,否則該程序會自動拉起zkfc進程。導致namenode
active產(chǎn)生切換
2)任務完成后要恢復crontab中注釋掉的restart-zkfc.sh任務
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
本文標題:namenodeha切換優(yōu)化-創(chuàng)新互聯(lián)
地址分享:http://www.rwnh.cn/article32/pcepc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供企業(yè)建站、網(wǎng)站建設(shè)、標簽優(yōu)化、虛擬主機、搜索引擎優(yōu)化、App開發(fā)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)