一、hadoop的組成

• hadoop1.x：Commons、HDFS（數(shù)據(jù)存儲）、MapReduce（資源調度+計算）
• hadoop2.x:Commons、HDFS（數(shù)據(jù)存儲）、MapReduce（計算）、Yarn(資源調度)

1.1 HDFS

成都創(chuàng)新互聯(lián)公司2013年開創(chuàng)至今，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目成都網(wǎng)站建設、成都網(wǎng)站制作網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元贛榆做網(wǎng)站,已為上家服務,為贛榆各地企業(yè)和個人服務,聯(lián)系電話:18980820575

• 分布式存儲文件系統(tǒng)。分為NameNode和DataNode
• NameNode： 管理元數(shù)據(jù)，負責監(jiān)控DataNode狀態(tài)，存儲在內存。
• DataNode: 負責存儲具體的數(shù)據(jù)。dataNode和nameNode有一個心跳機制，數(shù)據(jù)存儲在磁盤。

1.2 Yarn（資源調度）

• Resource Manager：所有資源（內存、CPU等）的管理者
• Node Manager: 單一資源的管理者。
• ApplicationMaster: 單個任務的執(zhí)行者
• Container: 容器，相當于一臺獨立的服務器，有對應運行所需要的的資源

1.2 MapReduce（計算）

將任務分發(fā)給每一臺服務器，然后結果匯總到一臺服務器

二、VM配置多臺服務器

1.1 修改虛擬機配置ip網(wǎng)段

• VM點擊編輯，設置虛擬網(wǎng)絡編輯器，點擊VMnet8修改子網(wǎng)ip為192.168.10.0，修改網(wǎng)關為192.168.10.2。
• windows打開網(wǎng)絡配置，點擊vm8修改ipv4
  
• 修改/etc/sysconfig/network-scripts/ifcfg-ens33
  修改BOOTPROTO為static #靜態(tài)ip
  #添加一下內容
  IPADDR=192.168.10.100
  GATEWAY=192.168.10.2
  DNS1=192.168.10.2
• 修改hostname為hadoop100
  vi /etc/hostname
• 修改hosts映射
  vi /etc/hosts
  #添加以下內容
  192.168.10.100 hadoop100
  192.168.10.101 hadoop101
  192.168.10.102 hadoop102
  192.168.10.103 hadoop103
  192.168.10.104 hadoop104
  192.168.10.105 hadoop105
  192.168.10.106 hadoop106
  192.168.10.107 hadoop107
  192.168.10.108 hadoop108

1.2 虛擬機的基礎配置

• 如果虛擬機為最小系統(tǒng)安裝，需要安裝如下工具
  #軟件庫(官方的rpm會缺少一些包)
  yum install -y epel-release
  #vim
  yum install -y vim
  #net-tool
  yum install -y net-tools
• 關閉停止防火墻
  systemctl stop firewalld
systemctl disable firewalld.service

1.3 克隆虛擬機(hadoop102 103 104)

• 關閉虛擬機，進行克隆，創(chuàng)建完整克隆
• 輪流登錄修改ip
  vi /etc/sysconfig/network-scripts/ifcfg-ens33
  修改IPADDR為192.168.10.102 (103 104)
• 修改主機名稱
  vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的環(huán)境

1.1 在hadoop102上安裝jdk和hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的環(huán)境變量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile

1.3 安裝hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/

1.4 配置hadoop的環(huán)境變量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

標題名稱：hadoop3.x學習（一）--安裝與環(huán)境配置-創(chuàng)新互聯(lián)
URL地址：http://www.rwnh.cn/article6/hsiog.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、企業(yè)網(wǎng)站制作、網(wǎng)站收錄、微信公眾號、標簽優(yōu)化、域名注冊

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)