Tcl/Tk的創(chuàng)始人、美國工程院院士、ACM Fellow John Ousterhout目前在斯坦福大學任教，他近年來的主要研究項目是RAMCloud——內存云。顧名思義，RAMCloud就是這樣一種新型數據中心存儲系統(tǒng)，它是由成千上萬臺普通服務器的主存所組成的大規(guī)模系統(tǒng)，任何時候，所有信息都存儲在這些快速的DRAM（動態(tài)隨機訪問存儲器，即俗稱的內存）中，內存取代了傳統(tǒng)系統(tǒng)中的硬盤，硬盤只作為備份使用。

內存云由此能同時實現大規(guī)模 (100～1000 TB) 和低延遲（同一數據中心應用程序訪問少量內存云數據只需5～10ms，比目前系統(tǒng)快100～1000倍）。內存云不僅會簡化大型Web應用的開發(fā)，而且，將催生新的數據密集型應用。

最新出版的《ACM通信》（Communications of ACM）2011年8月刊發(fā)表了Ousterhout與他的團隊合作撰寫的論文“The Case for RAMCloud”

在過去四十年，磁盤已經成為計算機系統(tǒng)網上信息的主要存儲位置。

在此期間，磁盤技術已經發(fā)生了顯著改善，由更高級別的存儲系統(tǒng)（如文件系統(tǒng)和關系數據庫）利用。但是磁盤性能卻并沒有像磁盤容量那樣有所改變。一個不容忽視的現實擺在了面前——技術人員發(fā)現基于磁盤的系統(tǒng)越來越難以形成規(guī)模以滿足大型Web應用程序的需要。

許多計算機科學家們提出了新的基于磁盤存儲的解決方案，以及其他建議更換磁碟與快閃記憶體裝置。相比之下，我們說的解決方案是基本想法就是將在線數據從磁盤遷移到DRAM上，從而在磁盤之上創(chuàng)建一種新式存儲。

這時，一個被稱為“RAMCloud”新的存儲方式將為未來許多應用提供新的存儲架構。

什么是RAMCloud？

RAMCloud架構的原理在于將存儲所有商業(yè)服務器的信息在主存儲器上，并使用數百上千的服務器創(chuàng)建大型存儲系統(tǒng)。據稱，存儲在RAMCloud上的數據的延遲要比存儲在基于硬盤的系統(tǒng)上低100-1000倍，而吞吐量則會高100-1000倍。

雖然個體存儲容易改變，但RAMCloud可以利用復制和備份技術以保障數據的耐久性和可用性，就像傳統(tǒng)基于磁盤的系統(tǒng)那樣。

RAMCloud可提供低延遲和大規(guī)模，并將從以下三點改變存儲行業(yè)的現狀。首先，RAMCloud會消除開發(fā)大規(guī)模Web應用所面臨的可擴展性問題。其次將啟用新的應用類，比當今深入100-1000倍操作數據將成為可能；RAMCloud集群可以支持單個的代謝那個程序或許多較小的應用程序，并可在小型應用轉變?yōu)榇笮蛻玫拈_發(fā)時保證沒有額外的復雜性。

RAMCloud的架構原理

1、在RAMCloud架構中，大量服務器組成的數據中心可分為兩類：應用服務器，實現應用程序的邏輯（如生成Web網頁和執(zhí)行業(yè)務規(guī)則）和存儲服務器，提供較長的共享應用服務器存儲。

2、RAMCloud代表系統(tǒng)存儲組織服務器的一種新方式，有兩個關鍵的區(qū)別區(qū)分RAMCloud和傳統(tǒng)存儲系統(tǒng)。首先，所有信息在任何時候都保存在RAMCloud；其次，RAMCloud必須建立在一定規(guī)模（數以千計）存儲服務器上。對于應用程序，獨立于存儲服務器的單一存儲系統(tǒng)的實際數量是可見的。

3、RAMCloud存儲的信息必須為持久的，就像存儲在磁盤上那樣。一個單一的存儲服務器出現故障后絕不會造成數據丟失或哪怕幾秒的數據不可用的狀況。實現耐用久性和可用性的技術的將會在本文后邊討論。

4、保存在DRAM上的所有數據都允許保存在RAMCloud，并且比當今給予高性能磁盤存儲系統(tǒng)的實際性能要高100到1000倍。

5、在同一個數據中心中通過在應用服務器上運行的一個進程通過網絡讀取幾百字節(jié)的數據的訪問延遲有可能降低到5μs–10μs。相比之下，今天的系統(tǒng)通常需要0.5ms到10ms，這取決于數據是否存在于服務器內存的緩存上，或必須從磁盤中讀取。

6、一臺多核的存儲服務器應該至少能在每秒相應100萬的網絡請求。根據配置和緩存的內容，一個基于磁盤的系統(tǒng)的類似機器（運行多個磁盤和一個存儲緩存的主內存）每秒可相應1000至10000的網絡請求。

案例分享

目前一個可行的RAMCloud配置，每臺服務器配置24GB的DRAM，這是高性價比的配置。擴展內存會導致成本的急劇增加。2000服務器會配備48TB的存儲空間，平均每GB成本65美元。據預測，到2020年，隨著DRAM技術的不斷完善，激勵1PB-10PB配置的RAMCloud時每 GB成本僅需6美元。

RAMCloud已經在實際中有所應用。例如一個大型的網絡零售商或航空公司使用RAMCloud的花費在幾十萬美元。截止2009年8月Facebook所有非圖像數據大約有260TB。這可能接近了當今RAMCloud實用的上限。

像電視頻、照片、歌曲等數據還沒有大規(guī)模應用RAMCloud，然而RAMCloud實際已經可以用在所有在線的數據。隨著DRAM技術的不斷改進，RAMCloud在未來會更具吸引力。

RAMCloud的存在價值

首先，RAMCloud可以是一個數據密集型應用的新架構，傳統(tǒng)的架構是應用程序連同代碼和數據被加載到一臺服務器的主存儲中，瓶頸也是顯而易見的，各種復雜的數據操作，應用程序的大小，機器的處理能力都是瓶頸。

而在過去的10年中，一種服務于數百萬用戶的大型WEB應用架構出現了。其主要將應用程序代碼和數據存放于同一個數據中心中的不同服務器中。應用服務器只存儲當前請求和處理瀏覽器的需求，而這種架構允許應用程序擴展到成千上萬的應用服務器和存儲。

但是不幸的是，在大型架構圖中，當服務器增加了4-5個數量級后，應用程序的復雜性，數據的訪問延遲都成了問題。比如當Facebook收到一個 HTTP請求訪問網頁時，應用服務器必須發(fā)出130個以上的數據以生成HTML頁面，這當中有指令請求的順序，而這些請求指令的累積是造成給用戶整體響應時間延遲的因素之一，所以需要相當大的開發(fā)量，以盡量減少對服務器請求的代碼大小和數量。

Mapreduce是最近幾年興起的一個新的技術，目的在于提高數據接入速度，消除了延遲問題，現在它解決了大規(guī)模的問題，但是如果是連續(xù)的數據訪問，將使得Mapreduce僅僅限于在隨機訪問數據的應用中使用。

RAMCloud則充分結合了兩者的優(yōu)勢——規(guī)模化和低延遲：保留了Web應用程序的可擴展性，同時降低了數據訪問延遲以接近傳統(tǒng)的應用程序。

對現有應用程序的擴展存儲

對于新的應用，RAMCloud將使其更容易建立。因為缺乏一個可擴展的存儲系統(tǒng)，現在開發(fā)大型的Web應用程序是困難的。

過去所有的Web應用程序都使用關系型數據庫存儲，但隨著數據規(guī)模的擴大，一個單一的關系型數據庫已經不能滿足他們的I/O需求。因此大家開始做系統(tǒng)升級，引進新的技術來擴展自己的存儲系統(tǒng)（比如多個數據庫間的數據分區(qū)）。

比如，盡管Facebook在2009年的時候就有4000個MySQL服務器，但由于大量交互式數據的調用，現有的存儲系統(tǒng)依舊不能滿足它的 I/O需求，所以Facebook用了2000個Memcached用作分布式內存對象緩存服務器——將一些鍵值存儲于主內存中，但其瓶頸在于，需要處理 Memcached和MySQL服務器之間的一致性，需要對應用軟件進行管理（比如刷新緩存值以更新數據庫），這無疑增加了應用的復雜性。

因此，NoSQL開始出現，用非關系型數據庫以鍵值對存儲，它的結構不固定，每一個元組可以有不一樣的字段，每個元組可以根據需要增加一些自己的鍵值對，這樣就不會局限于固定的結構，可以減少一些時間和空間的開銷，但是他們瓶頸依然是磁盤速度。

RAMCloud的原理之一是提供一個通用的存儲系統(tǒng)，其規(guī)模遠遠超出現有的系統(tǒng)，應用程序開發(fā)人員不需要采取特殊的方式（如NoSQL系統(tǒng)）。理想的狀態(tài)是，RAMCloud提供一個簡單的模型，易用、并且有擴展性，并對應用程序的城戰(zhàn)不需要做架構上的改變。

技術的發(fā)展趨勢

RAMCloud的發(fā)展動力是來自磁盤技術的演進。 磁盤容量從80年代以來增長了超過10000倍，未來還將繼續(xù)增加（表3），不幸的是，磁盤上的信息訪問速度卻停止不前，顯著的提高方式是通過減少尋道時間和旋轉延遲，但僅僅提高了50倍，和容量的增加實在無法成正比。

硬盤技術不平衡發(fā)展的結構，導致了數據必須保存在內存中不停訪問。如果按照容量/帶寬的比例來計算，如果磁盤是用作填補特定大小的塊，那么每塊多久可以訪問？隨機訪問又如何呢？一個可行的辦法是降低磁盤的利用率，如果只有一半的磁盤能夠使用，那么訪問速度理論上可以提高一倍。有數據顯示，到2009 年末時，Facebook真正可以利用的磁盤容量只有10％，顯然，這個成本有點太高，從經濟性和節(jié)能性來說，絕對不是一個好的架構。

緩存

對軟件工程師而言，如果大多數訪問只是磁盤一個小塊，可以實現高性能保持在DRAM訪問最頻繁的塊之上，在理想的狀態(tài)下，使用緩存系統(tǒng)能夠提供類似 DRAM的性能+磁盤的成本。但是DRAM和磁盤之間的訪問時間存在著1000倍的差距，這也意味著高速緩存必須要有非常低的損失率，以避免性能上的損失。

SSD

目前來看，可選擇的SSD有兩種：基于DRAM的設備和基于閃存的設備。

基于DRAM存儲設備比基于閃存的存儲設備速度更快，但成本也要高得多。

比如，2TB大小基于閃存的存儲設備成本大約為18萬美元；相比之下，存儲容量相同但基于DRAM的存儲設備成本高達約100萬美元?；贒RAM 的驅動器讀取或寫入數據的時間只要0.015毫秒，工作狀態(tài)下隨機速度達到了每秒可以處理40萬次I/O。這種驅動器最適合以寫操作為主的軟件以及使用高性能數據庫應用系統(tǒng)的公司。

基于閃存的存儲驅動器讀取或寫入數據的時間為0.2毫秒，工作狀態(tài)下高讀取速度為每秒10萬次I/O，高寫入速度為每秒2.5萬次I/O。這項技術也更適合以讀操作為主的應用。

原文鏈接

標簽：

成都網站設計公司 成都網站建設公司 成都網站制作公司 成都網站設計 成都網站建設 成都網站制作 成都精品網站制作成都精典網站制作 成都精品網站設計

網站名稱：【成都網站建設】 大規(guī)模存儲的未來——內存云？
標題URL：http://www.rwnh.cn/news39/182389.html

成都網站建設公司_創(chuàng)新互聯，為您提供外貿建站、網站建設、企業(yè)建站、標簽優(yōu)化、網站排名、軟件開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯