這篇文章主要講解了“hadoop異構(gòu)存儲怎么實現(xiàn)”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“hadoop異構(gòu)存儲怎么實現(xiàn)”吧！

為亳州等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及亳州網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都做網(wǎng)站、網(wǎng)站設(shè)計、亳州網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

1.       什么是hadoop的異構(gòu)存儲

Hadoop在2.6.0版本中引入了一個新特性——異構(gòu)存儲。異構(gòu)存儲關(guān)鍵在于異構(gòu)2個字，異構(gòu)存儲可以根據(jù)各個存儲介質(zhì)讀寫特性的不同發(fā)揮各自的優(yōu)勢，比如最普通的Disk磁盤；而對于熱數(shù)據(jù)而言，可以采用SSD的方式進行存儲，這樣就能保證高效的讀性能，在速率上甚至能做到十倍于或百倍于普通磁盤讀寫的速度。

2.       目前hadoop支持的存儲類型如下：

* RAM_DISK存儲在內(nèi)存

* SSD  存儲在固態(tài)硬盤
* DISK(default)  存儲在普通磁盤（默認(rèn)）
* ARCHIVE

按照RAM_DISK->SSD->DISK->ARCHIVE的順序，存取速度由快到慢，單bit存儲成本由高到低。

2.1 命令的使用

0. hdfs storagepolicies  -listPolicies（查看支持的存儲策略）

1.hadoop fs -mkdir /data/ssddata（創(chuàng)建目錄）

2.hdfs storagepolicies -setStoragePolicy -path /data/ssddata –policy One_SSD

（將目錄設(shè)置為一份存在ssd上面，其他的副本存在普通的磁盤上面，以后存儲在該文件夾下面的文件的塊副本都會存一份在ssd上面）

3.hdfs storagepolicies -getStoragePolicy -path /data/ssddata(查看該目錄的存儲策略，結(jié)果如下圖)

4.取消設(shè)置的存儲策略，創(chuàng)建文件的時候默認(rèn)為unspecified，那么該命令可以將其修改為默認(rèn)值

hdfs storagepolicies -unsetStoragePolicy -path /data/normal/ip2.txt

hdfs mover [-p <files/dirs> | -f <local file name>],

3.       索引

在數(shù)據(jù)檢索中，給數(shù)據(jù)添加索引是一個重要環(huán)節(jié)，傳統(tǒng)中關(guān)系型數(shù)據(jù)庫大多通過建索引來達到快速檢索的效果，OLTP數(shù)據(jù)庫大多是B或者B+樹索引。想必大家都知道lucene,它的索引是倒排索引（該概念不再這里敘述），不同的分詞使它的全文檢索功能很強大。諸如大家熟知的Elasticsearch也是在以lucene做索引引擎。但遺憾的是ES并不支持異構(gòu)存儲，且ES在面臨單個分片數(shù)據(jù)量超大時也會存在瓶頸問題。

感謝各位的閱讀，以上就是“hadoop異構(gòu)存儲怎么實現(xiàn)”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對hadoop異構(gòu)存儲怎么實現(xiàn)這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點的文章，歡迎關(guān)注！

當(dāng)前題目：hadoop異構(gòu)存儲怎么實現(xiàn)-創(chuàng)新互聯(lián)
當(dāng)前網(wǎng)址：http://www.rwnh.cn/article14/copsge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、建站公司、搜索引擎優(yōu)化、網(wǎng)站維護、移動網(wǎng)站建設(shè)、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)