本篇內(nèi)容介紹了“Storm面試題有哪些”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

成都創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括訥河網(wǎng)站建設(shè)、訥河網(wǎng)站制作、訥河網(wǎng)頁制作以及訥河網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，訥河網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到訥河省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

一、架構(gòu)

1、Nimbus

負(fù)責(zé)資源分配和任務(wù)調(diào)度。新版本中的 nimbus 節(jié)點(diǎn)可以有多個(gè)做主備。

2、Zookeeper

協(xié)調(diào)集群，公共數(shù)據(jù)的存放（如心跳數(shù)據(jù)，集群的狀態(tài)和配置信息），nimbus 將分配給 Supervisor 的任務(wù)寫入到 Zookeeper

3、supervisor

負(fù)責(zé)接受 nimbus 分配的任務(wù)，啟動(dòng)和停止屬于自己管理的 worker進(jìn)程。

4、worker

運(yùn)行具體處理組件邏輯的進(jìn)程。worker 中每一個(gè) spout/bolt 的線程稱為一個(gè)task. 在 storm0.8 之后，task 不再與物理線程對應(yīng)，同一個(gè) spout/bolt 的 task 可能會(huì)共享一個(gè)物理線程，該線程稱為 executor。最新版本的 Jstorm 已經(jīng)廢除了 task 的概念

二、編程模型

1、Spout

Spout 是接受外部數(shù)據(jù)源的組件，將外部數(shù)據(jù)源轉(zhuǎn)化成 Storm 內(nèi)部的數(shù)據(jù)， 以 Tuple 為基本的傳輸單元下發(fā)給 Bolt。（Tuple 是 Storm 內(nèi)部中數(shù)據(jù)傳輸?shù)幕締卧?，里面封裝了一個(gè) List 對象，用來保存數(shù)據(jù)。）

2、Bolt

Bolt 是接受 Spout 發(fā)送的數(shù)據(jù)，或上游的 bolt 的發(fā)送的數(shù)據(jù)。根據(jù)業(yè)務(wù)邏輯進(jìn)行處理。發(fā)送給下一個(gè) Bolt 或者是存儲(chǔ)到某種介質(zhì)上。介質(zhì)可以是 mongodb 或 mysql，或者其他。

3、并行度

Worker：表示一個(gè)進(jìn)程

Executor：表示由 worker 啟動(dòng)的線程

Task：實(shí)際執(zhí)行數(shù)據(jù)處理的最小工作單元（注意，task 并不是線程）

并行度的設(shè)置：評估上游 kafka 每秒生產(chǎn)的數(shù)據(jù)量，分析 topic 每個(gè) partition

每秒的數(shù)據(jù)量，partition 的數(shù)據(jù)量=SpoutTask 接受數(shù)據(jù)量SpoutTask 數(shù)量=partition 的數(shù)量

Worker 的設(shè)置：如果數(shù)據(jù)量大，worker 的數(shù)量等于 spouttask 的數(shù)量

4、消息不丟失

ack 機(jī)制即， spout 發(fā)送的每一條消息，

l在規(guī)定的時(shí)間內(nèi)，spout 收到 Acker 的 ack 響應(yīng)，即認(rèn)為該 tuple 被后

l

續(xù) bolt 成功處理

l在規(guī)定的時(shí)間內(nèi)，沒有收到 Acker 的 ack 響應(yīng) tuple，就觸發(fā) fail 動(dòng)作， 即認(rèn)為該 tuple 處理失敗，

l或者收到 Acker 發(fā)送的 fail 響應(yīng) tuple，也認(rèn)為失敗，觸發(fā) fail 動(dòng)作。通過 Ack 機(jī)制，spout 發(fā)送出去的每一條消息，都可以確定是被成功處理或失敗處理， 從而可以讓開發(fā)者采取動(dòng)作。比如在 Meta 中，成功被處理，即可更新偏移量，當(dāng)失敗時(shí)，重復(fù)發(fā)送數(shù)據(jù)。因此，通過 Ack 機(jī)制，很容易做到保證所有數(shù)據(jù)均被處理，一條都不漏。

“Storm面試題有哪些”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

名稱欄目：Storm面試題有哪些-創(chuàng)新互聯(lián)
地址分享：http://www.rwnh.cn/article36/dcidsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供電子商務(wù)、網(wǎng)站建設(shè)、面包屑導(dǎo)航、企業(yè)網(wǎng)站制作、網(wǎng)站維護(hù)、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)