四臺(tái)機(jī)器 bei1 bei2 bei3 bei4

成都創(chuàng)新互聯(lián)公司于2013年開(kāi)始，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元吳橋做網(wǎng)站,已為上家服務(wù),為吳橋各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話(huà):18980820575

	NN	DN	ZK	ZKFC	JN	RM	NM（任務(wù)管理）
bei1	Y		Y	Y
bei2	Y	Y	Y	Y	Y	Y	Y
bei3		Y	Y		Y		Y
bei4		Y			Y		Y

1、升級(jí)組件以及關(guān)閉防火墻

    yum -y update

      PS: 如果使用本地yum源可省略該項(xiàng)

      新開(kāi)終端在升級(jí)組件的同時(shí)操作減少等待時(shí)間

    # service iptables stop

    # chkconfig iptables off

2、修改/etc/hosts文件中IP與主機(jī)映射關(guān)系 

    # vi /etc/hosts

192.168.31.131bei1

192.168.31.132bei2

192.168.31.133bei3

192.168.31.134bei4

3、如果是虛擬機(jī)修改/etc/sysconfig/network-scripts/ifcfg-eth0刪除UUID和MAC地址

    # vi /etc/sysconfig/network-scripts/ifcfg-eth0

4、刪除/etc/udev/rules.d/70-persistent-net.rules 默認(rèn)網(wǎng)卡MAC生成規(guī)則文件

    # rm -rf /etc/udev/rules.d/70-persistent-net.rules 

      PS:如果是其它NODE節(jié)點(diǎn)不是虛擬機(jī)克隆或者源虛擬機(jī)復(fù)制的可省略第3、4兩項(xiàng)

5、yum升級(jí)后重啟主機(jī)

6、準(zhǔn)備環(huán)境

6.1、yum -y install gcc gcc-c++ autoconf automake cmake ntp rsync ssh vim

yum -y install zlib zlib-devel openssl openssl-devel pcre-devel

PS：以上一些程序可能對(duì)于hadoop并不需要但為了以后安裝其它程序可能會(huì)用到尤其是源碼安裝

其中重要的三個(gè)程序是必須安裝的

ssh 用于節(jié)點(diǎn)間通信 我選用的是CentOS6.7的版本默認(rèn)已經(jīng)安裝了openssh

rsync用于遠(yuǎn)程同步

ntp 用于時(shí)間同步

6.2、當(dāng)6.1中第一個(gè)yum安裝完成后新開(kāi)終端進(jìn)行NTP時(shí)間同步該項(xiàng)很重要

6.2.1配置ntp啟動(dòng)項(xiàng)

chkconfig ntpd on

6.2.2同步時(shí)間

ntpdate ntp.sjtu.edu.cn

6.2.3啟動(dòng)ntpd服務(wù)

/etc/init.d/ntpd start

6.2.4驗(yàn)證ntp服務(wù)已經(jīng)運(yùn)行

pgrep ntpd

6.2.5初始同步

ntpdate -u ntp.sjtu.edu.cn

6.2.6確認(rèn)同步成功

ntpq -p

PS:可以一次性輸入以上命令

chkconfig ntpd on

ntpdate ntp.sjtu.edu.cn

/etc/init.d/ntpd start

pgrep ntpd

ntpdate -u ntp.sjtu.edu.cn

ntpq -p

等待6.2.1yum成功后建議重啟主機(jī)

7、安裝jdk

    7.1 將jdk考到家目錄中

    7.2 rpm -ivh jdk_xxxxxxxx.rpm

    7.3 jdk安裝目錄默認(rèn)為/usr/java/jdk1.7.0_79

    7.4 配置jdk環(huán)境變量

       # vim ~/.bash_profile

增加以下四行

export JAVA_HOME=/opt/sxt/soft/jdk1.7.0_80

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/sxt/soft/hadoop-2.5.1

export PATH=$PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

編輯完成后使用source命令使文件~/.bash_profile生效執(zhí)行以下命令

source ~/.bash_profile

檢查環(huán)境變量

printenv

8、安裝tomcat (這步可省略，不過(guò)以后肯定有用)

    將tomcat拷貝到/opt/sxt下解壓

        # tar -zxvf apache-tomcat-xxxxx.tar.gz

9、將Hadoop 上傳到/opt/sxt

# tar -zxvf hadoop-2.5.1_x64.tar.gz

    9.1 創(chuàng)建hadoop.tmp.dir目錄及創(chuàng)建

# mkdir -p /opt/hadooptmp

    9.2 etc/hadoop/core-site.xml:

<property>

     <name>fs.defaultFS</name>

     <value>hdfs://bjsxt</value>

</property>

<property>

       <name>ha.zookeeper.quorum</name>

           <value>bei1:2181,bei2:2181,bei3:2181</value>

</property>

<property>

   <name>hadoop.tmp.dir</name>

   <value>/opt/hadooptmp</value>

<!-- 臨時(shí)文件地址 -->

</property>

    9.3 etc/hadoop/hdfs-site.xml:

<property>

 <name>dfs.nameservices</name>

 <value>bjsxt</value>

</property>

<property>

 <name>dfs.ha.namenodes.bjsxt</name>

 <value>nn1,nn2</value>

</property>

<property>

 <name>dfs.namenode.rpc-address.bjsxt.nn1</name>

 <value>bei1:8020</value>

</property>

<property>

 <name>dfs.namenode.rpc-address.bjsxt.nn2</name>

 <value>bei2:8020</value>

</property>

<property>

 <name>dfs.namenode.http-address.bjsxt.nn1</name>

 <value>bei1:50070</value>

</property>

<property>

 <name>dfs.namenode.http-address.bjsxt.nn2</name>

 <value>bei2:50070</value>

</property>

<property>

 <name>dfs.namenode.shared.edits.dir</name>

 <value>qjournal://bei2:8485;bei3:8485;bei4:8485/bjsxt</value>

</property>

<property>

 <name>dfs.client.failover.proxy.provider.bjsxt</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

 <name>dfs.ha.fencing.methods</name>

 <value>sshfence</value>

</property>

<property>

 <name>dfs.ha.fencing.ssh.private-key-files</name>

 <value>/root/.ssh/id_dsa</value>

</property>

<property>

 <name>dfs.journalnode.edits.dir</name>

 <value>/opt/hadooptmp/data</value>

<!-- jn 臨時(shí)文件地址 -->

</property>

<property>

  <name>dfs.ha.automatic-failover.enabled</name>

  <value>true</value>

</property>

    9.4 克隆

    9.5 修改主機(jī)名 IP 網(wǎng)關(guān) mac

修改主機(jī)名

vim /etc/sysconfig/network

修改IP地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改DNS

vi /etc/resolv.conf 中的search ，nameserver

10、檢查ssh本地免密碼登錄

    10.1 第一次檢查

ssh localhost

PS:遠(yuǎn)程成功后記得exit退出

    10.2 創(chuàng)建本地秘鑰并將公共秘鑰寫(xiě)入認(rèn)證文件

# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

        # cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    10.3 再次檢查

ssh localhost

PS：同樣exit退出

    10.4 在NameNode上將~/.ssh/authorized_keys文件復(fù)制到各節(jié)點(diǎn)上

scp ~/.ssh/authorized_keys root@hadoopsnn:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@hadoopdn1:~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@hadoopdn2:~/.ssh/authorized_keys

    10.5 編寫(xiě)/opt/sxt/soft/hadoop-2.5.1/etc/hadoop/hadoop-env.sh文件默認(rèn) hadoop取不到用戶(hù)環(huán)境變量里的JAVA_HOME所以要手動(dòng)指定

vim /opt/sxt/soft/hadoop-2.5.1/etc/hadoop/hadoop-env.sh

找到export JAVA_HOME=${JAVA_HOME}

修改為export JAVA_HOME=/opt/sxt/soft/jdk1.7.0_80

增加以下一行

export HADOOP_PREFIX=/opt/sxt/soft/hadoop-2.5.1

11、 配置安裝zookeeper

    11.1 三臺(tái)zookeeper：bei1，bei2，bei3

    11.2 編輯zoo.cfg配置文件

修改dataDir=/opt/sxt/zookeeperdatadir

 tickTime=2000

 dataDir=/opt/sxt/zookeeperdatadir

 clientPort=2181

 initLimit=5

 syncLimit=2

 server.1=bei1:2888:3888

 server.2=bei2:2888:3888

 server.3=bei3:2888:3888

    11.3 在dataDir目錄中創(chuàng)建一個(gè)myid的文件，文件內(nèi)容為1，2，3

12、配置hadoop中的slaves  其中放置的是NN

*******這一步開(kāi)始要認(rèn)真按步驟做，若修改配置文件了，服務(wù)需要重啟*******

13、啟動(dòng)三個(gè)zookeeper：/opt/sxt/zookeeper-3.4.6/bin/zkServer.sh start

14、啟動(dòng)三個(gè)JournalNode：./hadoop-daemon.sh start journalnode

15、在其中一個(gè)namenode上格式化：bin/hdfs namenode -format

16、把剛剛格式化之后的元數(shù)據(jù)拷貝到另外一個(gè)namenode上

16.1啟動(dòng)剛剛格式化的namenode :hadoop-daemone.sh start namenode

16.2在沒(méi)有格式化的namenode上執(zhí)行：hdfs namenode -bootstrapStandby

16.3啟動(dòng)第二個(gè)namenode

17、在其中一個(gè)namenode上初始化zkfc：hdfs zkfc -formatZK

18、停止上面節(jié)點(diǎn)：stop-dfs.sh

19、全面啟動(dòng)：start-dfs.sh

20、登錄頁(yè)面jps檢查 登錄頁(yè)面檢查

網(wǎng)站標(biāo)題：HadoopHA搭建
文章出自：http://www.rwnh.cn/article40/jiedeo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、網(wǎng)站維護(hù)、商城網(wǎng)站、網(wǎng)站內(nèi)鏈、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)