中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

MapReduce Service引爆大數(shù)據(jù)時代

2013-05-15    分類: 網(wǎng)站建設(shè)

2012年以來,大數(shù)據(jù)(big data)成為人們耳熟能詳?shù)脑~語,這也是隨著互聯(lián)網(wǎng)信息的發(fā)展產(chǎn)生的新型行業(yè),人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù),并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。

大數(shù)據(jù)是人類進入互聯(lián)網(wǎng)時代以來面臨的一個巨大問題:社會生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大,數(shù)據(jù)種類越來越多,數(shù)據(jù)產(chǎn)生的速度越來越快。傳統(tǒng)的數(shù)據(jù)處理技術(shù),比如說單機存儲,關(guān)系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。

針對上述問題,華為云提供了大數(shù)據(jù) MapReduce 服務(wù)(MRS),MRS 是一個在華為云上部署和管理 Hadoop 系統(tǒng)的服務(wù),一鍵即可部署 Hadoop 集群。MRS 提供租戶完全可控的企業(yè)級大數(shù)據(jù)集群云服務(wù),輕松運行 Hadoop、Spark、HBase、Kafka、Storm 等大數(shù)據(jù)組件。

MRS是 Hadoop 中一種面向大規(guī)模數(shù)據(jù)處理的并行計算模型和方法。從定義上看,MapReduce 是面向大數(shù)據(jù)并行處理的計算模型、框架和平臺,其中它隱含了以下三層含義:

1.MapReduce 是一個基于集群的高性能并行計算平臺(Cluster Infrastructure)。它允許用市場上普通的商用服務(wù)器構(gòu)成一個包含數(shù)十、數(shù)百至數(shù)千個節(jié)點的分布和并行計算集群。

2.MapReduce 是一個并行計算與運行軟件框架(Software Framework)。它提供了一個龐大但設(shè)計精良的并行計算軟件框架,能自動完成計算任務(wù)的并行化處理,自動劃分計算數(shù)據(jù)和計算任務(wù),在集群節(jié)點上自動分配和執(zhí)行任務(wù)以及收集計算結(jié)果,將數(shù)據(jù)分布存儲、數(shù)據(jù)通信、容錯處理等并行計算涉及到的很多系統(tǒng)底層的復(fù)雜細節(jié)交由系統(tǒng)負責(zé)處理,大大減少了軟件開發(fā)人員的負擔(dān)。

3.MapReduce 是一個并行程序設(shè)計模型與方法(Programming Model & Methodology)。它借助于函數(shù)式程序設(shè)計語言 Lisp 的設(shè)計思想,提供了一種簡便的并行程序設(shè)計方法,用 Map 和 Reduce 兩個函數(shù)編程實現(xiàn)基本的并行計算任務(wù),提供了抽象的操作和并行編程接口,以簡單方便地完成大規(guī)模數(shù)據(jù)的編程和計算處理。

標(biāo)題名稱:MapReduce Service引爆大數(shù)據(jù)時代
文章來源:http://www.rwnh.cn/news/775.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供商城網(wǎng)站、企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、網(wǎng)站改版、網(wǎng)站內(nèi)鏈、網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都網(wǎng)頁設(shè)計公司
奉节县| 滨州市| 石台县| 新干县| 吐鲁番市| 金阳县| 鄂伦春自治旗| 潼南县| 洪泽县| 垦利县| 松潘县| 保亭| 麻栗坡县| 榆社县| 绩溪县| 灵台县| 眉山市| 将乐县| 通渭县| 康乐县| 宣武区| 开鲁县| 林州市| 南漳县| 大方县| 麦盖提县| 保山市| 苍南县| 平罗县| 铅山县| 新昌县| 黄陵县| 邹城市| 京山县| 苏尼特右旗| 罗甸县| 富裕县| 鸡西市| 遵义市| 从化市| 武义县|