Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，是用Java語(yǔ)言開發(fā)的一個(gè)開源分布式計(jì)算平臺(tái)，適合大數(shù)據(jù)的分布式存儲(chǔ)和計(jì)算平臺(tái)。今天加米谷大數(shù)據(jù)就來(lái)簡(jiǎn)單介紹一下Hadoop的簡(jiǎn)史，以及學(xué)習(xí)Hadoop前要做哪些準(zhǔn)備。
狹義上，Hadoop就是單獨(dú)指代Hadoop這個(gè)軟件；

瓦房店網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),瓦房店網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為瓦房店成百上千提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)要多少錢，請(qǐng)找那個(gè)售后服務(wù)好的瓦房店做網(wǎng)站的公司定做！

廣義上，Hadoop指代大數(shù)據(jù)的一個(gè)生態(tài)圈，包括很多其他的軟件。

Hadoop的起源

1、2001年，Nutch問(wèn)世。Nutch的設(shè)計(jì)目標(biāo)是構(gòu)建一個(gè)大型的全網(wǎng)搜索引擎，包括網(wǎng)頁(yè)抓取、索引、查詢等功能，但隨著抓取網(wǎng)頁(yè)數(shù)量的增加，遇到了嚴(yán)重的可擴(kuò)展性問(wèn)題；

2、2003-2004年，Google發(fā)布論文：GFS、MapReduce，受此啟發(fā)的Doug Cutting等人實(shí)現(xiàn)了NDFS（HDFS的前身）和MapReduce機(jī)制，使Nutch性能飆升；

GFS：Google的分布式文件系統(tǒng)Google File System

MapReduce：Google的MapReduce開源分布式并行計(jì)算框架

3、2005年，Hadoop作為L(zhǎng)ucene的子項(xiàng)目Nutch的一部分正式引入Apache基金會(huì)；

4、2006年，Hadoop（HDFS+MapReduce）從Nutch中剝離成為獨(dú)立項(xiàng)目。Doug Cutting加入Yahoo，領(lǐng)導(dǎo)Hadoop的開發(fā)。

.在入門學(xué)習(xí)大數(shù)據(jù)的過(guò)程當(dāng)中有遇見學(xué)習(xí)，行業(yè)，缺乏系統(tǒng)學(xué)習(xí)路線，系統(tǒng)學(xué)習(xí)規(guī)劃，歡迎你加入我的大數(shù)據(jù)學(xué)習(xí)交流裙：529867072 ，裙文件有我這幾年整理的大數(shù)據(jù)學(xué)習(xí)手冊(cè)，開發(fā)工具，PDF文檔書籍，你可以自行下載。

Hadoop的發(fā)展簡(jiǎn)史

5、2006年，Apache Hadoop項(xiàng)目正式啟動(dòng)以支持MapReduce和HDFS的獨(dú)立發(fā)展；Yahoo建設(shè)了第一個(gè)Hadoop集群用于開發(fā)；4月，第一個(gè)Apache Hadoop發(fā)布；11月，Google發(fā)表了Bigtable論文，Hbase的創(chuàng)建的靈感來(lái)源；

BigTable：一個(gè)大型的分布式數(shù)據(jù)庫(kù)

演變關(guān)系：

GFS—->HDFS

Google MapReduce—->Hadoop MapReduce

BigTable—->HBase

6、2007年，第一個(gè)Hadoop用戶組會(huì)議召開，社區(qū)貢獻(xiàn)開始急劇上升；同年，F(xiàn)acebook開始使用Hadoop，百度開始使用Hadoop做離線處理，中國(guó)移動(dòng)開始研究使用Hadoop；

7、2008年，Hive、HBase問(wèn)世，Hadoop成為Apache頂級(jí)項(xiàng)目。8月，第一個(gè)Hadoop商業(yè)化公司Cloudera成立。同年，淘寶開始使用Hadoop；

8、2009年-2012年，Hadoop不斷發(fā)展。

2009年Cloudera推出CDH平臺(tái)（首個(gè)Hadoop發(fā)行版），完全由開放源碼軟件組成。《Hadoop權(quán)威指南》初版出版（被譽(yù)為Hadoop圣經(jīng)）；2010年，HBase、Hive( Facebook) 、Pig脫離Hadoop，均成為Apache頂級(jí)項(xiàng)目；Hadoop社區(qū)建立大量新組件（Crunch，Sqoop，F(xiàn)lume，Oozie等）來(lái)擴(kuò)展Hadoop的使用場(chǎng)景和可用性；2011年，ZooKeeper 脫離Hadoop，成為Apache頂級(jí)項(xiàng)目；加米谷大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)，6月大數(shù)據(jù)開發(fā)0基礎(chǔ)班、提高班，即將開課，預(yù)報(bào)名中... 2012年，Yarn成為Hadoop子項(xiàng)目；

9、2014年，Spark逐漸代替MapReduce成為Hadoop的缺省執(zhí)行引擎，并成為Apache基金會(huì)頂級(jí)項(xiàng)目。

Hadoop能干什么？

大數(shù)據(jù)存儲(chǔ)：分布式存儲(chǔ)

日志處理：擅長(zhǎng)日志分析

ETL：數(shù)據(jù)抽取到oracle、MySQL、DB2、mongdb及主流數(shù)據(jù)庫(kù)

機(jī)器學(xué)習(xí): 比如Apache Mahout項(xiàng)目

搜索引擎：Hadoop + lucene實(shí)現(xiàn)

數(shù)據(jù)挖掘：目前比較流行的廣告推薦，個(gè)性化廣告推薦

Hadoop是專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)的，并不適合那種對(duì)幾個(gè)記錄隨機(jī)讀寫的在線事務(wù)處理模式。

學(xué)習(xí)Hadoop前的準(zhǔn)備：

準(zhǔn)備電腦（用于學(xué)習(xí)）：內(nèi)存最少8G、CPU起碼四核（cpu i5 系列）

支持平臺(tái)：Linux(CentOS)（產(chǎn)品開發(fā)和運(yùn)行的平臺(tái)）

所需軟件：以Linux為例

Java8.0，必須安裝，建議選擇Oracle公司發(fā)行的Java版本。
ssh 必須安裝并且保證 sshd一直運(yùn)行，以便用Hadoop 腳本管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程。
安裝所需軟件：以Linux為例

$ sudo yum install ssh

$ sudo yum install rsync

下載Hadoop的發(fā)行版并解壓安裝

網(wǎng)頁(yè)題目：零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)Hadoop需要什么準(zhǔn)備？Hadoop如何發(fā)展起來(lái)的？
分享地址：http://www.rwnh.cn/article32/gpoisc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、網(wǎng)站維護(hù)、靜態(tài)網(wǎng)站、網(wǎng)站改版、微信公眾號(hào)、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)