hadoop+hbase+zookeeper+spark+p-創(chuàng)新互聯(lián)
排錯日志：
創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),邯山企業(yè)網(wǎng)站建設(shè),邯山品牌網(wǎng)站建設(shè),網(wǎng)站定制,邯山網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,邯山網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。解決辦法：可能是修改 機器名導(dǎo)致的，修改hosts，寫入hostname和IP，然后，try it agin！
解決辦法：
當引入hadoop-common-2.2.0.jar包進行二次開發(fā)，比如讀寫HDFS文件時，初次運行報錯。
java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2428)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:88)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2449)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:367)
at FileCopyToHdfs.readFromHdfs(FileCopyToHdfs.java:65)
at FileCopyToHdfs.main(FileCopyToHdfs.java:26)這是因為該包下默認的core-default.xml沒有配置如下屬性：
<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description>
< /property>
添加完后，問題解決。
建議下載hadoop-2.2.0源碼，在源碼修改core-default.xml文件后再編譯打包，再在二次開發(fā)的工程引入新的jar包。
http://www.cnblogs.com/tangtianfly/p/3491133.html
http://www.cnblogs.com/tangtianfly/p/3491133.html
http://blog.csdn.net/u013281331/article/details/17992077
上屬性指定fs.hdfs.impl的實現(xiàn)類。
解決辦法：
時間不同步
su root
ntpdate133.100.11.8
cd /usr/local/hbase/bin/
./hbase-daemon.sh start regionserver
解決辦法：
打開hdfs-site.xml里配置的datanode和namenode對應(yīng)的目錄，分別打開current文件夾里的VERSION，可以看到clusterID項正如日志里記錄的一樣，確實不一致，修改datanode里VERSION文件的clusterID 與namenode里的一致，再重新啟動dfs（執(zhí)行start-dfs.sh）再執(zhí)行jps命令可以看到datanode已正常啟動。
出現(xiàn)該問題的原因：在第一次格式化dfs后，啟動并使用了hadoop，后來又重新執(zhí)行了格式化命令（hdfs namenode -format)，這時namenode的clusterID會重新生成，而datanode的clusterID 保持不變。
解決辦法：
1.檢查防火墻和selinux
2.hosts里不要有127.0.0.1指向機器名的解析存在，如“127.0.0.1 localhost”。
解決辦法：
是因為hbase和hadoop里都有這個jar包，選擇其一移除即可。
解決辦法：
原來是Hadoop在剛啟動的時候，還處在安全模式造成的。
[coder@h2 hadoop-0.20.2]$ bin/hadoop dfsadmin -safemode get Safe mode is ON [coder@h2 hadoop-0.20.2]$
可等Hadoop退出安全模式后再執(zhí)行HBase命令，或者手動退出Hadoop的安全模式
[coder@h2 hadoop-0.20.2]$ bin/hadoop dfsadmin -safemode leaveSafe mode is OFF [coder@h2 hadoop-0.20.2]$
cd /usr/local/hadoop2/bin
./hadoop dfsadmin -safemode leave
解決辦法：
<property>
<name>zookeeper.znode.parent</name>
<value>/usr/local/hbase/hbase_tmp/hbase</value>
</property>解決辦法：
./stop-all.sh
hadoop namenode -format
rm -rf /home/hadoop/tmp/dfs
./start-all.sh
rm -rf /home/hadoop/tmp
rm -rf /home/hadoop/dfs_data
rm -rf /home/hadoop/pids
rm -rf /home/hadoop/dfs_name
cd /usr/local/hadoop2/bin/
./hadoop namenode -format
closing ipc connection to master.kaiser.com/192.168.0.60:8020: Connection refused
Call From master.kaiser.com/192.168.0.60 to master.kaiser.com:8020 failed on connection exception: java.net.ConnectException:Connection refused
log：
2014-09-03 13:50:39,029 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/hadoop/dfs_name/in_use.lock acquired by nodename 7582@master.kaiser.com
2014-09-03 13:50:39,032 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsp_w_picpath
java.io.IOException: NameNode is not formatted.2014-09-03 13:50:39,141 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join
java.io.IOException: NameNode is not formatted.
hadoop.hbase.MasterNotRunningException: The node /hbase is not in ZooKeeper. It should have been written by the master.Check the value configured in 'zookeeper.znode.parent'. There could be a mismatch with the one configured in the master.
2013-04-13 17:13:17,374 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode... 2013-04-13 17:13:27,377 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode... 2013-04-13 17:13:37,386 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode... 2013-04-13 17:13:47,393 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode... 2013-04-13 17:13:57,395 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode... 2013-04-13 17:14:07,409 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
執(zhí)行hbase程序orshell命令出現(xiàn)如下提示（./hbase shell）：
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hbase-0.92.1/lib/slf4j-log4j12-1.5.8.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop2-1.0.3/lib/slf4j-log4j12-1.4.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: tmaster.kaiser.com/192.168.0.63:9000
2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: namenode clusterID = CID-af6f15aa-efdd-479b-bf55-77270058e4f7; datanode clusterID = CID-736d1968-8fd1-4bc4-afef-5c72354c39ce
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:472)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:225)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:249)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:929)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:900)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:274)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:815)
at java.lang.Thread.run(Thread.java:744)從日志中可以看出，原因是因為datanode的clusterID 和 namenode的clusterID 不匹配。
regionserver.HRegionServer: Failed deleting my ephemeral node
java.io.IOException: No FileSystem for scheme: hdfs
hadoop：pache.hadoop.hdfs.server.blockmanagement.DatanodeManager: Unresolved datanode registration: hostname cannot be resolved
Hbase：Will not attempt to authenticate using SASL (unknown error)
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
文章標題：hadoop+hbase+zookeeper+spark+p-創(chuàng)新互聯(lián)
標題網(wǎng)址：http://www.rwnh.cn/article26/cepjjg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、服務(wù)器托管、響應(yīng)式網(wǎng)站、定制開發(fā)、微信公眾號、企業(yè)建站
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
- 域名注冊要注意哪些問題？ 2016-06-21
- 域名注冊知識解析 2016-09-02
- 注冊域名會遇到哪些問題？如何域名注冊？ 2021-02-26
- 注冊域名需要注意什么事項 2014-07-24
- 如何保護注冊域名？保護域名不被別人搶注 2017-03-10
- 域名注冊哪一家 2022-07-07
- 成都企業(yè)網(wǎng)站建設(shè)過程中域名注冊很重要 2016-12-31
- 如何申請域名域名注冊方法_深圳網(wǎng)站制作公司 2021-12-10
- 域名注冊的六點注意事項 2021-08-21
- 域名注冊信息會影響網(wǎng)站搜索引擎優(yōu)化排名嗎？ 2021-05-29
- 網(wǎng)站域名注冊和備案的新規(guī)定 2016-08-08
- 域名注冊哪家靠譜 2022-07-13