網(wǎng)絡(luò)配置

創(chuàng)新互聯(lián)建站憑借在網(wǎng)站建設(shè)、網(wǎng)站推廣領(lǐng)域領(lǐng)先的技術(shù)能力和多年的行業(yè)經(jīng)驗(yàn)，為客戶提供超值的營銷型網(wǎng)站建設(shè)服務(wù)，我們始終認(rèn)為：好的營銷型網(wǎng)站就是好的業(yè)務(wù)員。我們已成功為企業(yè)單位、個人等客戶提供了成都做網(wǎng)站、網(wǎng)站設(shè)計服務(wù)，以良好的商業(yè)信譽(yù)，完善的服務(wù)及深厚的技術(shù)力量處于同行領(lǐng)先地位。

• hostname 查看珠璣名

• vim /etc/sysconfig/network 設(shè)置主機(jī)名

• ifconfig 查看ip情況

• vim /etc/sysconfig/network-scripts/ifcfg-eth0 設(shè)置網(wǎng)絡(luò)

• DEVICE="eth0" 接口名（設(shè)備、網(wǎng)卡）

• BOOTPROTO=STATIC IP的配置方法（static：固定IP，dhcp：，none：手動）

• ONBOOT=yes 系統(tǒng)啟動的時候網(wǎng)絡(luò)端口是否有效

• IPADDR=192.168.1.2 IP網(wǎng)址

• GATEWAY=192.168.1.0 網(wǎng)關(guān)

• DNS1=8.8.8.8 DNS服務(wù)器

• service network restart 重啟網(wǎng)卡服務(wù)

• service network start 開始網(wǎng)卡服務(wù)

• service network stop 停止網(wǎng)卡服務(wù)

• ifconfig eth0 up|down 啟用和關(guān)閉制定的網(wǎng)卡

• ifconfig 查看配置的ip信息是否生效

• vim /etc/hosts 設(shè)置珠璣和ip映射關(guān)系

• 192.168.1.2 master

• 192.168.1.3 slave1

• 192.168.1.4 slave2

• ping master

• service iptables stop 關(guān)閉防火墻

• chkconfig iptables off 關(guān)閉自啟動防火墻服務(wù)

配置SSH

• rpm -qa | grep openssh 查看是否安裝了ssh服務(wù)

• rpm -qa | grep rsync 查看是否安裝了rsync服務(wù)

• yum install ssh 安裝ssh協(xié)議

• yum install rsync rsync是一個遠(yuǎn)程數(shù)據(jù)同步工具

• service sshd restart 啟動sshd服務(wù)

• ssh-keygen -t rsa -p ' ' 生成無密碼密鑰對（存放路徑是/home/Haddop/.ssh）

• cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys  將id_rsa.pub追加到授權(quán)的key中

• chmod 600 ~/.ssh/authorized_keys 授予讀寫權(quán)限

• vim /etc/ssh/sshd_config 修改sshd服務(wù)的配置文件

RSAAuthentication yes # 啟用 RSA 認(rèn)證

PubkeyAuthentication yes # 啟用公鑰私鑰配對認(rèn)證方式

AuthorizedKeysFile .ssh/authorized_keys # 公鑰文件路徑（和上面生成的文件同）

• service sshd restart 重啟sshd服務(wù)，是修改生效

• ssh master 嚴(yán)驗(yàn)證ssh登錄（第一次會要求輸入密碼）

單點(diǎn)對多點(diǎn)的SSH無密碼登錄

• ssh-keygen

• ssh-copy-id storm@slave1 格式是"ssh-copy-id 用戶名@主機(jī)名"

• ssh-copy-id storm@slave2 將本機(jī)名的公鑰復(fù)制到遠(yuǎn)程機(jī)器的authorized_keys文件

安裝JDK

1. root用戶登錄

2. mkdir /usr/java 創(chuàng)建/usr/java目錄

3. cp /root/Downloads/jdk-6u31-linux-i584.bin  /usr/java 復(fù)制

4. chmod +x jdk-6u31-linux-i584.bin  賦予執(zhí)行的權(quán)限

5. ./jdk-6u31-linux-i584.bin  執(zhí)行解壓過的bin文件

6. rm -rf jdk-6u31-linux-i584.bin 刪除jdk安裝文件

7. vim /etc/profile

在尾部添加以下內(nèi)容：

# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_31/

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

source /etc/profile 使profile的配置文件生效

java -version 驗(yàn)證jdk是否安裝成功

安裝剩余機(jī)器：

• scp /usr/java/jdk1.6.0_31/ Hadoop@mster$i:/usr/java;

使用shell腳本安裝：

for i in $(seq 1 100);

do echo slave$i;

scp /usr/javajdk1.6.0_31/ Hadoop@slave$i:/usr/java;

done

profile環(huán)境變量的配置文件要可以配置好后一次發(fā)送到所有集群中

Hadoop集群的安裝

1. 以root用戶登錄

2. cp /root/Downloads/Hadoop-1.0.0.tar.gz /usr

3. cd /usr

4. tar -zxvf Hadoop-1.0.0.tar.gz 解壓tar.gz的安裝包

5. mv Hadoop-1.0.0.tar.gz hadoop 文件夾重命名

6. chown -R Hadoop:Hadoop Hadoop hadoop文件的屬主重新分配，-R是遞歸，hadoop文件夾分配給hadoop組下的hadoop用戶

7. rm -rf Hadoop-1.0.0.tar.gz 刪除安裝文件

配置Hadoop的環(huán)境變量

1. vim /etc/profile

1. export HADOOP_HOME=/usr/Hadoop

2. export PATH=$PATH:$HADOOP_HOME/bin

2. source /etc/profile 使配置生效

配置hadoop

1. 配置hadoop-env.sh(文件位于/usr/Hadoop/bin/conf)

1. vim /usr/Hadoop/bin/conf/Hadoop-env.sh

2. export JAVA_HOME=/usr/java/jdk1.6.0_31

2. 配置core-site.xml文件

1. mkdir /usr/Hadoop/tmp 創(chuàng)建文件夾tmp，用來保存hadoop臨時數(shù)據(jù)

2. vim /usr/Hadoop/bin/conf/core-site.xml

<configuration>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>/usr/hadoop/tmp</value>

        （備注：請先在 /usr/hadoop 目錄下建立 tmp 文件夾，默認(rèn)采用系統(tǒng)的臨時目錄：/tmp/Hadoop-hadoop。而這個目錄每次重啟都會被干掉，必須重新執(zhí)行format才行，否則會出錯。）

       <description>A base for other temporary directories.</description>

   </property>

<!--file system properties ，配置NameNode的訪問地址-->

   <property>

       <name>fs.default.name</name>

        <value>hdfs://192.168.1.2:9000</value>

   </property>

</configuration>

1. 配置hdfs-site.xml ，默認(rèn)備份方式是3

<configuration>

   <property>

       <name>dfs.replication</name>

        <value>1</value>

        (備注：replication 是數(shù)據(jù)副本數(shù)量，默認(rèn)為3，salve少于3臺就會報錯)

   </property>

<configuration>

1. 配置mapred-site.xml

修改hadoop中mapreduce的配置文件，配置的jobTracker的地址和端口

<configuration>

   <property>

       <name>mapred.job.tracker</name>

        <value>http://192.168.1.2:9001</value>

   </property>

</configuration>

1. 配置mster

修改/usr/Hadoop/conf/masters文件，指定master機(jī)器的主機(jī)名

    vim /usr/Hadoop/conf/masters

        192.168.1.2（或者是master）

1. 配置slave

vim /usr/Hadoop/conf/slaves

       slave1

       slave2

注意：單機(jī)啟動的時候，conf/slaves中一定不能為空。沒有其他機(jī)器，就指定自己。

集群環(huán)境下，slave機(jī)器上可以不配置slaves

1. 在集群中的其他機(jī)器上重復(fù)此配置

建議普通用戶在hadoop下通過scp復(fù)制到其他機(jī)器對應(yīng)的目錄下，其中第6步是master機(jī)器特有的

使用shell腳本：

for i in $(seq1 100);

do echo slave$i;

scp /usr/hadoop Hadoop@slave$i:/usr;

scp /etc/profile Hadoop@slave$i:/etc;

done

復(fù)制文件后可能會發(fā)現(xiàn)hadoop目錄是root權(quán)限

chown -R hadoop:Hadoop Hadoop   授權(quán)給hadoop用戶

Hadoop啟動相關(guān)命令：

• Hadoop namenode -format 在master機(jī)器上格式化namenode

只需要執(zhí)行一次，如果要重新執(zhí)行，一定要先刪除配置文件core-site.xml中配置

的hadoop.tmp.dir對應(yīng)路徑下的文件

• service iptables stop 關(guān)閉集群中所有機(jī)器防火墻

for i in (seq 1 100);

Do ssh node $i "hostname;

service iptables stop;

chkconfig iptables off;

service iptables status";

done

• start-all.sh 啟動hadoop的所有服務(wù)，包含（hdfs和mapreduce的相關(guān)服務(wù)）

可以通過以下啟動日志看出，首先啟動namenode，接著啟動datanode1，datanode2，......,然后啟動secondarynamenode。再啟動jobtracker，然后啟動tasktracker1，tasktracker2，.........。

啟動hadoop成功后，在master中的tmp文件夾中生成dfs文件夾，在slave中的tmp文件夾中均生成了dfs文件加和mapred文件夾

• jps 查看進(jìn)程

• 在master上的結(jié)果是

• jobTracker

• NameNode

• jps

• SecondaryNameNode

• 在slave上的結(jié)果是

• TaskTracker

• DataNode

• jps

• Hadoop dfsadmin -report 查看hadoop集群的狀態(tài)

• Hadoop dfsadmin   -safemode leave 關(guān)閉hdfs的安全模式

http:192.168.1.2:50030     訪問mapreduce對應(yīng)網(wǎng)頁

http:192.168.1.2:50070     訪問hdfs的對應(yīng)網(wǎng)頁

服務(wù)器一直啟動不了的終極解決辦法：

1. 刪除集群中所有機(jī)器上的/usr/Hadoop/tmp文件

2. 刪除集群中所有機(jī)器上的pid文件。默認(rèn)保存在/tmp目錄下。授權(quán)給hadoop用戶

3. 重新執(zhí)行stop-all.sh,把能關(guān)的服務(wù)先關(guān)掉

4. 執(zhí)行ps -ef|grep java|grep hadoop命令，查詢是否還有hadoop相關(guān)進(jìn)程在運(yùn)行，如有則kill -9 進(jìn)程號 命令殺掉

5. 重新格式話珠璣master

6. 執(zhí)行start-all.sh啟動hadoop

7. 發(fā)現(xiàn)沒有報錯，執(zhí)行Hadoop dfsadmin -report 命令查看hadoop運(yùn)行狀態(tài)，發(fā)現(xiàn)只啟動了一個節(jié)點(diǎn)?？赡苓€是存在安全模式

8. 執(zhí)行hadoop dfsadmin -safemode leave 關(guān)閉主機(jī)上的安全模式

9. 再一次執(zhí)行hadoop dfsadmin -report

解決“no datanode to stop ”問題

原因：

每次namenode format 會重新創(chuàng)建一個namenodeId，而/tmp/dfs/data下包含了上次 format下的id，namenode format 清空了namenode下的數(shù)據(jù)，但是沒有清空datanode下的數(shù)據(jù)，到時啟動是失敗，所有每次format前，清空tmp下的所有目錄

• 第一種方法：

刪除master上的tmp文件夾  rm -fr /usr/Hadoop/tmp

分享題目：Hadoop常用命令
文章地址：http://www.rwnh.cn/article28/jdgicp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、網(wǎng)站改版、關(guān)鍵詞優(yōu)化、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計公司、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)