在hadoop學(xué)習(xí)過(guò)程中，首先第一步是部署偽分布以及分布式集群。
在集群的部署過(guò)程中http://www.powerxing.com/install-hadoop-cluster/
使用這篇博客作為參考。

創(chuàng)新互聯(lián)建站-專(zhuān)業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比絳縣網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式絳縣網(wǎng)站制作公司更省心,省錢(qián),快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋絳縣地區(qū)。費(fèi)用合理售后完善，十載實(shí)體公司更值得信賴(lài)。

在部署過(guò)程中。 遇到一些問(wèn)題。
比如：用PYTHON 跑一個(gè)簡(jiǎn)單的MAPREDUCE 任務(wù)，首先需要現(xiàn)在streamingJAR包，簡(jiǎn)單的說(shuō)這個(gè)包封裝了一些常用的接口，PYTHON 通過(guò)標(biāo)準(zhǔn)輸入輸出來(lái)調(diào)用這個(gè)包。最終完成在內(nèi)部用JAVA實(shí)現(xiàn)的功能。
下載地址為：http://www.java2s.com/Code/JarDownload/hadoop-streaming/

python 程序?yàn)?mapper.py

#!/usr/bin/env python
import sys
for line in sys.stdin:
line = line.strip()
words = line.split()
for word in words:
print "%s\t%s" % (word, 1)

以及reducer.py

**#!/usr/bin/env python
from operator import itemgetter
import sys

current_word = None
current_count = 0
word = None

for line in sys.stdin:
line = line.strip()
word, count = line.split('\t', 1)
try:
count = int(count)
except ValueError: #count如果不是數(shù)字的話，直接忽略掉
continue
if current_word == word:
current_count += count
else:
if current_word:
print "%s\t%s" % (current_word, current_count)
current_count = count
current_word = word

if word == current_word: #不要忘記最后的輸出
print "%s\t%s" % (current_word, current_count)**

    運(yùn)行方式：
hadoop jar ./hadoop-streaming-2.6.0.jar -file ./mappper.py -file ./reducer.py  -input /input -output /output

這里需要注意的是  /input 必須放在hadoop文件系統(tǒng)上
hadoop fs -put input /input 
/output 不能存在，如果存在請(qǐng)先刪除

另外在python中首行必須寫(xiě)   #!/usr/bin/env python
否則可能會(huì)報(bào)錯(cuò)。具體原因可以看http://andylue2008.iteye.com/blog/1622260  這篇博客

另外如果使用hadoop fs -ls 這樣的命令報(bào)錯(cuò)： 找不到ls目錄。是因?yàn)闆](méi)有創(chuàng)建家目錄
hadoop fs -mkdir -p /user/hadoop

文章標(biāo)題：hadoop分布式集群部署以及過(guò)程中遇到的一些坑
文章起源：http://www.rwnh.cn/article22/igpojc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供、網(wǎng)站改版、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)