本篇內(nèi)容主要講解“Spark Streaming中RateController是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“Spark Streaming中RateController是什么”吧!

10多年的麗水網(wǎng)站建設(shè)經(jīng)驗，針對設(shè)計、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時及時工作處理。成都全網(wǎng)營銷的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動調(diào)整麗水建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計，從而大程度地提升瀏覽體驗。成都創(chuàng)新互聯(lián)公司從事“麗水網(wǎng)站設(shè)計”,“麗水網(wǎng)站推廣”以來，每個客戶項目都認(rèn)真落實執(zhí)行。

Spark Streaming中采用的模型如下，基本思想是按照100ms的批次發(fā)送數(shù)據(jù)給Controller，剛開始Controller直接轉(zhuǎn)給JobGenerator，JobGenerator在生成Job，交給JobProcessor來處理，JobProcessor將job統(tǒng)計信息發(fā)送給Controller，Controller接收到統(tǒng)計信息，會動態(tài)改變Batch Size來給Job發(fā)送數(shù)據(jù)。

RateController的子類有ReceiverRateController、DirectKafkaRateController。

ReceiverRateController會向receiverTracker發(fā)送UpdateReceiverRateLimit消息。

ReceiverTracker接收到UpdateReceiverRateLimit消息后，向ReceiverSupervisorImpl轉(zhuǎn)發(fā)UpdateRateLimit消息。

ReceiverSupervisorImpl接收到UpdateRateLimit消息后，調(diào)用BlockGenerator的updateRate方法，來控制數(shù)據(jù)的接收速度。

BlockGenerator繼承自RateLimiter。

到此，相信大家對“Spark Streaming中RateController是什么”有了更深的了解，不妨來實際操作一番吧！這里是箭頭云網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

分享標(biāo)題：SparkStreaming中RateController是什么
鏈接分享：http://www.rwnh.cn/article40/cpjoeo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供軟件開發(fā)、Google、品牌網(wǎng)站制作、動態(tài)網(wǎng)站、面包屑導(dǎo)航、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)