1. HBase簡介
   1.1. 什么是HBase
   HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。

HBase的目標(biāo)是存儲(chǔ)并處理大型的數(shù)據(jù)，更具體來說是僅需使用普通的硬件配置，就能夠處理由成千上萬的行和列所組成的大型數(shù)據(jù)。

目前創(chuàng)新互聯(lián)已為成百上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、雅安服務(wù)器托管、網(wǎng)站托管運(yùn)營、企業(yè)網(wǎng)站設(shè)計(jì)、阿榮網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

HBase是Google Bigtable的開源實(shí)現(xiàn)，但是也有很多不同之處。
比如：
Google Bigtable利用GFS作為其文件存儲(chǔ)系統(tǒng)，HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)；
Google運(yùn)行MAPREDUCE來處理Bigtable中的海量數(shù)據(jù)，HBase同樣利用Hadoop MapReduce來處理HBase中的海量數(shù)據(jù)；
Google Bigtable利用Chubby作為協(xié)同服務(wù)，HBase利用Zookeeper作為對應(yīng)。
想了解大數(shù)據(jù)的學(xué)習(xí)路線，想學(xué)習(xí)大數(shù)據(jù)知識以及需要免費(fèi)的學(xué)習(xí)資料可以加群：784789432.歡迎你的加入。每天下午三點(diǎn)開直播分享基礎(chǔ)知識，晚上20:00都會(huì)開直播給大家分享大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)。

1.2. 與傳統(tǒng)數(shù)據(jù)庫的對比
1、傳統(tǒng)數(shù)據(jù)庫遇到的問題：

1）數(shù)據(jù)量很大的時(shí)候無法存儲(chǔ)

2）沒有很好的備份機(jī)制

3）數(shù)據(jù)達(dá)到一定數(shù)量開始緩慢，很大的話基本無法支撐

2、HBase優(yōu)勢：

1）線性擴(kuò)展，隨著數(shù)據(jù)量增多可以通過節(jié)點(diǎn)擴(kuò)展進(jìn)行支撐

2）數(shù)據(jù)存儲(chǔ)在hdfs上，備份機(jī)制健全

3）通過zookeeper協(xié)調(diào)查找數(shù)據(jù)，訪問速度塊。

1.3. HBase集群中的角色
1、一個(gè)或者多個(gè)主節(jié)點(diǎn)，Hmaster

2、多個(gè)從節(jié)點(diǎn)，HregionServer

2. hbase數(shù)據(jù)模型
   2.1. hbase數(shù)據(jù)模型

2.1.1. Row Key
與nosql數(shù)據(jù)庫們一樣,row key是用來檢索記錄的主鍵。訪問HBASE table中的行，只有三種方式：

1.通過單個(gè)row key訪問

2.通過row key的range（正則）

3.全表掃描

Row key行鍵 (Row key)可以是任意字符串(大長度 是 64KB，實(shí)際應(yīng)用中長度一般為 10-100bytes)，在HBASE內(nèi)部，row key保存為字節(jié)數(shù)組。存儲(chǔ)時(shí)，數(shù)據(jù)按照Row key的字典序(byte order)排序存儲(chǔ)。設(shè)計(jì)key時(shí)，要充分排序存儲(chǔ)這個(gè)特性，將經(jīng)常一起讀取的行存儲(chǔ)放到一起。(位置相關(guān)性)

2.1.2. Columns Family
列簇 ：HBASE表中的每個(gè)列，都?xì)w屬于某個(gè)列族。列族是表的schema的一部 分(而列不是)，必須在使用表之前定義。列名都以列族作為前綴。例如 courses:history，courses:math都屬于courses 這個(gè)列族。

2.1.3. Cell
由{row key, columnFamily, version} 唯一確定的單元。cell中 的數(shù)據(jù)是沒有類型的，全部是字節(jié)碼形式存貯。

關(guān)鍵字：無類型、字節(jié)碼

2.1.4. Time Stamp
HBASE 中通過rowkey和columns確定的為一個(gè)存貯單元稱為cell。每個(gè) cell都保存 著同一份數(shù)據(jù)的多個(gè)版本。版本通過時(shí)間戳來索引。時(shí)間戳的類型是 64位整型。時(shí)間戳可以由HBASE(在數(shù)據(jù)寫入時(shí)自動(dòng) )賦值，此時(shí)時(shí)間戳是精確到毫秒 的當(dāng)前系統(tǒng)時(shí)間。時(shí)間戳也可以由客戶顯式賦值。如果應(yīng)用程序要避免數(shù)據(jù)版 本沖突，就必須自己生成具有唯一性的時(shí)間戳。每個(gè) cell中，不同版本的數(shù)據(jù)按照時(shí)間倒序排序，即最新的數(shù)據(jù)排在最前面。

為了避免數(shù)據(jù)存在過多版本造成的的管理 (包括存貯和索引)負(fù)擔(dān)，HBASE提供 了兩種數(shù)據(jù)版本回收方式。一是保存數(shù)據(jù)的最后n個(gè)版本，二是保存最近一段 時(shí)間內(nèi)的版本（比如最近七天）。用戶可以針對每個(gè)列族進(jìn)行設(shè)置。

3. hbase命令
   3.1. 命令的進(jìn)退
   1、hbase提供了一個(gè)shell的終端給用戶交互

#$HBASE_HOME/bin/hbase shell

2、如果退出執(zhí)行quit命令

#$HBASE_HOME/bin/hbase shell

……

quit

3.2. 命令
名稱

命令表達(dá)式

創(chuàng)建表

create '表名', '列族名1','列族名2','列族名N'

查看所有表

list

描述表

describe ‘表名’

判斷表存在

exists '表名'

判斷是否禁用啟用表

is_enabled '表名'
is_disabled ‘表名’

添加記錄

put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , '值'

查看記錄rowkey下的所有數(shù)據(jù)

get '表名' , 'rowKey'

查看表中的記錄總數(shù)

count '表名'

獲取某個(gè)列族

get '表名','rowkey','列族'

獲取某個(gè)列族的某個(gè)列

get '表名','rowkey','列族：列’

刪除記錄

delete ‘表名’ ,‘行名’ , ‘列族：列'

刪除整行

deleteall '表名','rowkey'

刪除一張表

先要屏蔽該表，才能對該表進(jìn)行刪除
第一步 disable ‘表名’ ，第二步 drop '表名'

清空表

truncate '表名'

查看所有記錄

scan "表名"

查看某個(gè)表某個(gè)列中所有數(shù)據(jù)

scan "表名" , {COLUMNS=>'列族名:列名'}

更新記錄

就是重寫一遍，進(jìn)行覆蓋，hbase沒有修改，都是追加

4. hbase依賴zookeeper
   1、 保存Hmaster的地址和backup-master地址

hmaster：

a) 管理HregionServer

b) 做增刪改查表的節(jié)點(diǎn)

c) 管理HregionServer中的表分配

2、 保存表-ROOT-的地址

hbase默認(rèn)的根表，檢索表。

3、 HRegionServer列表

表的增刪改查數(shù)據(jù)。

和hdfs交互，存取數(shù)據(jù)。

5. hbase原理
   5.1. 體系圖

5.1.1. 寫流程
1、 client向hregionserver發(fā)送寫請求。

2、 hregionserver將數(shù)據(jù)寫到hlog（write ahead log）。為了數(shù)據(jù)的持久化和恢復(fù)。

3、 hregionserver將數(shù)據(jù)寫到內(nèi)存（memstore）

4、 反饋client寫成功。

5.1.2. 數(shù)據(jù)flush過程
1、 當(dāng)memstore數(shù)據(jù)達(dá)到閾值（默認(rèn)是64M），將數(shù)據(jù)刷到硬盤，將內(nèi)存中的數(shù)據(jù)刪除，同時(shí)刪除Hlog中的歷史數(shù)據(jù)。

2、 并將數(shù)據(jù)存儲(chǔ)到hdfs中。

3、 在hlog中做標(biāo)記點(diǎn)。

5.1.3. 數(shù)據(jù)合并過程
1、 當(dāng)數(shù)據(jù)塊達(dá)到4塊，hmaster將數(shù)據(jù)塊加載到本地，進(jìn)行合并

2、 當(dāng)合并的數(shù)據(jù)超過256M，進(jìn)行拆分，將拆分后的region分配給不同的hregionserver管理

3、 當(dāng)hregionser宕機(jī)后，將hregionserver上的hlog拆分，然后分配給不同的hregionserver加載，修改.META.

4、 注意：hlog會(huì)同步到hdfs

5.1.4. hbase的讀流程
1、 通過zookeeper和-ROOT- .META.表定位hregionserver。

2、 數(shù)據(jù)從內(nèi)存和硬盤合并后返回給client

3、 數(shù)據(jù)塊會(huì)緩存

5.1.5. hmaster的職責(zé)
1、管理用戶對Table的增、刪、改、查操作；

2、記錄region在哪臺Hregion server上

3、在Region Split后，負(fù)責(zé)新Region的分配；

4、新機(jī)器加入時(shí)，管理HRegion Server的負(fù)載均衡，調(diào)整Region分布

5、在HRegion Server宕機(jī)后，負(fù)責(zé)失效HRegion Server 上的Regions遷移。

5.1.6. hregionserver的職責(zé)
HRegion Server主要負(fù)責(zé)響應(yīng)用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)，是HBASE中最核心的模塊。

HRegion Server管理了很多table的分區(qū)，也就是region。

5.1.7. client職責(zé)
Client

HBASE Client使用HBASE的RPC機(jī)制與HMaster和RegionServer進(jìn)行通信

管理類操作：Client與HMaster進(jìn)行RPC；

數(shù)據(jù)讀寫類操作：Client與HRegionServer進(jìn)行RPC。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

新聞標(biāo)題：大數(shù)據(jù)之HBase基礎(chǔ)-創(chuàng)新互聯(lián)
標(biāo)題來源：http://www.rwnh.cn/article32/ddcpsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站建設(shè)、小程序開發(fā)、虛擬主機(jī)、云服務(wù)器、微信公眾號、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)