我們知道，大數(shù)據(jù)的計(jì)算模式主要分為批量計(jì)算(batch computing)、流式計(jì)算(stream computing)、交互計(jì)算(interactive computing)、圖計(jì)算(graph computing)等。其中，流式計(jì)算和批量計(jì)算是兩種主要的大數(shù)據(jù)計(jì)算模式，分別適用于不同的大數(shù)據(jù)應(yīng)用場景。

在碾子山等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站制作、做網(wǎng)站 網(wǎng)站設(shè)計(jì)制作按需策劃設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),成都全網(wǎng)營銷推廣,外貿(mào)營銷網(wǎng)站建設(shè),碾子山網(wǎng)站建設(shè)費(fèi)用合理。

目前主流的流式計(jì)算框架有Storm、Spark Streaming、Flink三種，其基本原理如下：

Apache Storm

在Storm中，需要先設(shè)計(jì)一個(gè)實(shí)時(shí)計(jì)算結(jié)構(gòu)，我們稱之為拓?fù)洌╰opology）。之后，這個(gè)拓?fù)浣Y(jié)構(gòu)會(huì)被提交給集群，其中主節(jié)點(diǎn)（master node）負(fù)責(zé)給工作節(jié)點(diǎn)（worker node）分配代碼，工作節(jié)點(diǎn)負(fù)責(zé)執(zhí)行代碼。在一個(gè)拓?fù)浣Y(jié)構(gòu)中，包含spout和bolt兩種角色。數(shù)據(jù)在spouts之間傳遞，這些spouts將數(shù)據(jù)流以tuple元組的形式發(fā)送；而bolt則負(fù)責(zé)轉(zhuǎn)換數(shù)據(jù)流。

Apache Spark

Spark Streaming，即核心Spark API的擴(kuò)展，不像Storm那樣一次處理一個(gè)數(shù)據(jù)流。相反，它在處理數(shù)據(jù)流之前，會(huì)按照時(shí)間間隔對數(shù)據(jù)流進(jìn)行分段切分。Spark針對連續(xù)數(shù)據(jù)流的抽象，我們稱為DStream（Discretized Stream）。 DStream是小批處理的RDD（彈性分布式數(shù)據(jù)集）， RDD則是分布式數(shù)據(jù)集，可以通過任意函數(shù)和滑動(dòng)數(shù)據(jù)窗口（窗口計(jì)算）進(jìn)行轉(zhuǎn)換，實(shí)現(xiàn)并行操作。

Apache Flink

針對流數(shù)據(jù)+批數(shù)據(jù)的計(jì)算框架。把批數(shù)據(jù)看作流數(shù)據(jù)的一種特例，延遲性較低(毫秒級)，且能夠保證消息傳輸不丟失不重復(fù)。

Flink創(chuàng)造性地統(tǒng)一了流處理和批處理，作為流處理看待時(shí)輸入數(shù)據(jù)流是**的，而批處理被作為一種特殊的流處理，只是它的輸入數(shù)據(jù)流被定義為有界的。Flink程序由Stream和Transformation這兩個(gè)基本構(gòu)建塊組成，其中Stream是一個(gè)中間結(jié)果數(shù)據(jù)，而Transformation是一個(gè)操作，它對一個(gè)或多個(gè)輸入Stream進(jìn)行計(jì)算處理，輸出一個(gè)或多個(gè)結(jié)果Stream。

這三種計(jì)算框架的對比如下：

參考文章：

Streaming Big Data: Storm, Spark and Samza

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：流式計(jì)算的三種框架：Storm、Spark和Flink-創(chuàng)新互聯(lián)
當(dāng)前URL：http://www.rwnh.cn/article10/jdpgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供App設(shè)計(jì)、網(wǎng)站設(shè)計(jì)公司、標(biāo)簽優(yōu)化、電子商務(wù)、靜態(tài)網(wǎng)站、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)