隨著計(jì)算機(jī)網(wǎng)絡(luò)、網(wǎng)格計(jì)算、WEB服務(wù)、新型WEB應(yīng)用等理念和技術(shù)的發(fā)展，萬維網(wǎng)己經(jīng)從一個(gè)傳統(tǒng)的HTML文件共享、交換、訪問平臺(tái)轉(zhuǎn)變?yōu)槿我庑畔①Y源的共享平臺(tái)，架構(gòu)與互聯(lián)網(wǎng)之上的云計(jì)算模式成為了大勢(shì)所趨。云計(jì)算中最重要一類是數(shù)據(jù)密集型的計(jì)算，其核心內(nèi)涵是數(shù)據(jù)管理。傳統(tǒng)的數(shù)據(jù)管理技術(shù)難以滿足這些應(yīng)用所提出的對(duì)數(shù)據(jù)管理的需求。本文借鑒傳統(tǒng)數(shù)據(jù)管理技術(shù)的理念，研究、設(shè)計(jì)了一個(gè)基于CouchDB的高可擴(kuò)展、高可靠的海量圖片存儲(chǔ)管理系統(tǒng)。

1 云計(jì)算的定義及特點(diǎn)

云計(jì)算是以一種融合的方式，通過網(wǎng)絡(luò)作載體，以虛擬化技術(shù)為基礎(chǔ)，以提供基礎(chǔ)架構(gòu)、平臺(tái)、軟件等服務(wù)為形式，整合大規(guī)?？蓴U(kuò)展的計(jì)算、存儲(chǔ)、數(shù)據(jù)、應(yīng)用、IT資源等分布式計(jì)算資源進(jìn)行協(xié)同工作的超級(jí)計(jì)算模式。在云計(jì)算模式下，用戶不再需要購買復(fù)雜的硬件和軟件，而只需要支付相應(yīng)的費(fèi)用給“云計(jì)算”服務(wù)提供商，通過網(wǎng)絡(luò)就可以方便地獲取所需要的計(jì)算和存儲(chǔ)等資源。在計(jì)價(jià)上采用了更靈活的方式。從管理視角，云計(jì)算提供了一種管理大量虛擬化資源的方式，它們可以被自動(dòng)的匯聚并提供服務(wù)，可以彈性的進(jìn)行服務(wù)的提供和擴(kuò)展。云計(jì)算是一種新的用戶體驗(yàn)和業(yè)務(wù)模式，具備服務(wù)標(biāo)準(zhǔn)化、快速部署、靈活的計(jì)費(fèi)、容易訪問\獲得的特點(diǎn)。云計(jì)算作為一種基礎(chǔ)架構(gòu)管理和服務(wù)提供方法，具備虛擬化資源、彈性擴(kuò)展的提供服務(wù)、按照一個(gè)大資源池的方式進(jìn)行管理的特點(diǎn)。

云計(jì)算是一種計(jì)算模式，利用互聯(lián)網(wǎng)技術(shù)把大量可擴(kuò)展(和彈性)的IT相關(guān)的能力作為一種服務(wù)提供給多個(gè)用戶按照運(yùn)營模式可以分為公共云、私有云、混合云3種。

公共云：通過自己的基礎(chǔ)架構(gòu)直接向用戶提供服務(wù)。用戶通過互聯(lián)網(wǎng)訪問服務(wù)，并不擁有云計(jì)算資源。

私有云：企業(yè)自己搭建云計(jì)算基礎(chǔ)架構(gòu)，面向內(nèi)部用戶或外部客戶提供云計(jì)算服務(wù)。企業(yè)擁有基礎(chǔ)架構(gòu)的自主權(quán)，并且可以基于自己的需求改進(jìn)服務(wù)，進(jìn)行自主創(chuàng)新。

混合云：也就是既有自已的云計(jì)算基礎(chǔ)架構(gòu)，也使用外部公共云提供的服務(wù)。

2 云計(jì)算的關(guān)鍵技術(shù)

云計(jì)算是以數(shù)據(jù)為中心的一種數(shù)據(jù)密集型的超級(jí)計(jì)算模式。在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、編程模式、并發(fā)控制、系統(tǒng)管理等5個(gè)方面具有自身獨(dú)特的技術(shù)。

1)海量分布式存儲(chǔ)技術(shù)

為保證保證存儲(chǔ)數(shù)據(jù)的可靠性、高可用性和經(jīng)濟(jì)性，云計(jì)算的存儲(chǔ)數(shù)據(jù)采取分布式冗余存儲(chǔ)存儲(chǔ)方式，以高可靠軟件來彌補(bǔ)硬件的不足，從而對(duì)外提供廉價(jià)可靠的系統(tǒng)。為了滿足大量用戶的需求，數(shù)據(jù)存儲(chǔ)技術(shù)必須具有高吞吐率和高傳輸率的特點(diǎn)。

云計(jì)算的數(shù)據(jù)存儲(chǔ)系統(tǒng)主要有Google的GFS(Google File System)和Hadoop開發(fā)團(tuán)隊(duì)開發(fā)的開源系統(tǒng)——HDFS(Hadoop Distr4buted File System)。大部分IT廠商，包括Yahoo、Intel的云計(jì)劃采用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。

2)并行編程模式

為了高效利用云計(jì)算的資源，使用戶能夠更輕松地享受云計(jì)算帶來的服務(wù)，云計(jì)算的編程模式必須保證后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度對(duì)用戶和編程人員來說是透明的。云計(jì)算采用Map-Reduce編程模式，將任務(wù)自動(dòng)分成多個(gè)子任務(wù)，通過Map和Reduce兩步實(shí)現(xiàn)任務(wù)在大規(guī)模計(jì)算節(jié)點(diǎn)中的調(diào)度與分配。

3)數(shù)據(jù)管理技術(shù)

云計(jì)算對(duì)大數(shù)據(jù)集進(jìn)行分析、處理，向用戶提供高效服務(wù)，因此，數(shù)據(jù)管理技術(shù)必須能夠高效地管理大數(shù)據(jù)集。另外，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問題。云計(jì)算系統(tǒng)的數(shù)據(jù)管理往往采用列存儲(chǔ)的數(shù)據(jù)管理模式，保證海量數(shù)據(jù)存儲(chǔ)和分析性能。

4)分布式資源管理技術(shù)

在多節(jié)點(diǎn)并發(fā)執(zhí)行環(huán)境，分布式資源管理技術(shù)是保證系統(tǒng)狀態(tài)正確的關(guān)鍵技術(shù)。系統(tǒng)狀態(tài)需要在多節(jié)點(diǎn)之間同步，關(guān)鍵節(jié)點(diǎn)出現(xiàn)故障時(shí)需要能夠自動(dòng)遷移服務(wù)。分布式資源管理技術(shù)通過“鎖”機(jī)制來協(xié)凋多任務(wù)對(duì)資源的使用，從而保證數(shù)據(jù)操作的一致性。

5)云計(jì)算平臺(tái)管理技術(shù)

云計(jì)算資源規(guī)模龐大，一個(gè)系統(tǒng)的服務(wù)器數(shù)量可能會(huì)高達(dá)10萬臺(tái)，且很有可能跨越幾個(gè)坐落于不同物理地點(diǎn)的數(shù)據(jù)中心，同時(shí)還在其上運(yùn)行著成千上萬種應(yīng)用。如何有效地管理這些服務(wù)器，保證這些服務(wù)器組成的系統(tǒng)能夠提供每天24小時(shí)不間斷服務(wù)是一個(gè)巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)管理技術(shù)是云計(jì)算的“神經(jīng)網(wǎng)絡(luò)”，它能使大量的服務(wù)器協(xié)同工作，方便地進(jìn)行業(yè)務(wù)部署和開通，快速地發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，使云計(jì)算系統(tǒng)通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模的可運(yùn)營、可管理。

3 云計(jì)算中數(shù)據(jù)管理系統(tǒng)應(yīng)具備的特征

大規(guī)模云存儲(chǔ)技術(shù)與分布式數(shù)據(jù)管理系統(tǒng)結(jié)合，能夠?yàn)楦餍懈鳂I(yè)提供了一個(gè)海量存儲(chǔ)空間，并支持靈活擴(kuò)展、高性能訪問的文件共享存儲(chǔ)平臺(tái)。平臺(tái)具有的一些屬性和特征

1)高效性

云計(jì)算是一種隨用隨付費(fèi)的模式，耶么使用云計(jì)算資源的費(fèi)用會(huì)隨著所需要的存儲(chǔ)、網(wǎng)絡(luò)帶寬和計(jì)算機(jī)能源線性增長。因此，如果數(shù)據(jù)分析軟件產(chǎn)品A比B需要更多的計(jì)算單元去執(zhí)行相同的任務(wù)，那么產(chǎn)品A就需要比B花費(fèi)更多。因此，能用盡量少的資源去完成盡量多的任務(wù)的系統(tǒng)也就是我們所要尋找的。

2)容錯(cuò)性

容錯(cuò)性在分析型數(shù)據(jù)工作環(huán)境中的度量與在傳統(tǒng)工作環(huán)境中不同。對(duì)于傳統(tǒng)的工作，一個(gè)具有容錯(cuò)性的DBMS可以從一個(gè)錯(cuò)誤中恢復(fù)而不會(huì)丟失任何數(shù)據(jù)或恢復(fù)到最近一次完成的事務(wù);而在一個(gè)分布式數(shù)據(jù)庫環(huán)境中，則可以成功的提交事務(wù)并在一個(gè)工作負(fù)載中前進(jìn)，甚至面對(duì)工作節(jié)點(diǎn)錯(cuò)誤。對(duì)于分析型工作負(fù)載中只讀的請(qǐng)求，沒有寫事務(wù)的提交，也沒有在節(jié)點(diǎn)失效時(shí)更新的失敗。因此，對(duì)一個(gè)具有容錯(cuò)性的分析型DBMS簡單的來說，如果一個(gè)與請(qǐng)求處理失敗關(guān)聯(lián)的節(jié)點(diǎn)失效，則不需要重發(fā)一個(gè)請(qǐng)求。

3)操作加密數(shù)據(jù)的能力

如敏感數(shù)據(jù)在上傳到云中之前有可能被加密。為了防止對(duì)這些敏感數(shù)據(jù)未經(jīng)授權(quán)的訪問，任何運(yùn)行在云上的應(yīng)用都不應(yīng)該能夠在訪問之前直接解密數(shù)據(jù)。然而，為了進(jìn)行解密而把整個(gè)表或列從云中傳輸出來對(duì)帶寬來說也是個(gè)挑戰(zhàn)。因此，數(shù)據(jù)分析系統(tǒng)應(yīng)該具有能夠直接操作加密數(shù)據(jù)的能力，使得最終只有較少的數(shù)據(jù)需要被傳輸?shù)絼e的地方進(jìn)行解密，這樣就明顯提高了性能。

4)提供接口的能力

有很多面向用戶的商業(yè)智能工具是與數(shù)據(jù)庫軟件協(xié)同工作并在形象化、查詢生成、結(jié)果統(tǒng)計(jì)和高級(jí)數(shù)據(jù)分析方面起到一定幫助作用的。這些工具是分析型數(shù)據(jù)管理系統(tǒng)的一個(gè)重要組成部分，因?yàn)樯虡I(yè)分析師通常在技術(shù)上不是很精通并且并不喜歡直接面對(duì)數(shù)據(jù)庫軟件。這些工具一般通過ODBC或JDBC與數(shù)據(jù)庫進(jìn)行連接，因此希望處理這些產(chǎn)品的數(shù)據(jù)庫軟件必須通過這些連接接收SQL請(qǐng)求。