Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的，相信很多沒有經(jīng)驗(yàn)的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

創(chuàng)新互聯(lián)主要從事成都做網(wǎng)站、網(wǎng)站制作、網(wǎng)頁設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)橫縣,十多年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

一個(gè)Topic中的所有數(shù)據(jù)分布式的存儲(chǔ)在kafka集群的所有機(jī)器(broker)上，以分區(qū)(partition)的的形式進(jìn)行數(shù)據(jù)存儲(chǔ);每個(gè)分區(qū)允許存在備份數(shù)據(jù)/備份分區(qū)(存儲(chǔ)在同一kafka集群的其它broker上的分區(qū))

每個(gè)數(shù)據(jù)分區(qū)在Kafka集群中存在一個(gè)broker節(jié)點(diǎn)上的分區(qū)叫做leader，存儲(chǔ)在其它broker上的備份分區(qū)叫做followers;只有l(wèi)eader節(jié)點(diǎn)負(fù)責(zé)該分區(qū)的數(shù)據(jù)讀寫操作，followers節(jié)點(diǎn)作為leader節(jié)點(diǎn)的熱備節(jié)點(diǎn)，從leader節(jié)點(diǎn)備份數(shù)據(jù);當(dāng)leader節(jié)點(diǎn)掛掉的時(shí)候，followers節(jié)點(diǎn)中會(huì)有一個(gè)節(jié)點(diǎn)變成leader節(jié)點(diǎn)，重新提供服務(wù)

Kafka集群的Partition的leader和followers切換依賴Zookeeper

Kafka分布式保證的第一個(gè)特性就是：Kafka的Replication

Kafka的Replication指的是Partition的復(fù)制，一個(gè)Partition的所有分區(qū)中只有一個(gè)分區(qū)是leader節(jié)點(diǎn)，其它分區(qū)是follower節(jié)點(diǎn)。

Replication對Kafka的吞吐率有一定的影響，但是極大的增強(qiáng)了可用性

Follower節(jié)點(diǎn)會(huì)定時(shí)的從leader節(jié)點(diǎn)上獲取增量數(shù)據(jù)，一個(gè)活躍的follower節(jié)點(diǎn)必須滿足一下兩個(gè)條件：

1. 所有的節(jié)點(diǎn)必須維護(hù)和zookeeper的連接(通過zk的heartbeat實(shí)現(xiàn))

2. follower必須能夠及時(shí)的將leader上的writing復(fù)制過來，不能“落后太多”; “落后太多”由參數(shù){replica.lag.time.max.ms}和{replica.lag.max.messages}決定

Kafka分布式保證的第二個(gè)特性就是：Kafka Leader Election

Kafka提供了一個(gè)in-sync replicas(ISR)來確保Kafka的Leader選舉，ISR是一個(gè)保存分區(qū)node的集合，如果一個(gè)node宕機(jī)了或數(shù)據(jù)“落后太多”，leader會(huì)將該node節(jié)點(diǎn)從ISR中移除，只有ISR中的follower節(jié)點(diǎn)才有可能成為leader節(jié)點(diǎn)

Leader節(jié)點(diǎn)的切換基于Zookeeper的Watcher機(jī)制，當(dāng)leader節(jié)點(diǎn)宕機(jī)的時(shí)候，其他ISR中的follower節(jié)點(diǎn)會(huì)競爭的在zk中創(chuàng)建一個(gè)文件目錄(只會(huì)有一個(gè)follower節(jié)點(diǎn)創(chuàng)建成功)，創(chuàng)建成功的follower節(jié)點(diǎn)成為leader節(jié)點(diǎn)

看完上述內(nèi)容，你們掌握Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！

文章題目：Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的-創(chuàng)新互聯(lián)
標(biāo)題路徑：http://www.rwnh.cn/article42/pooec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、網(wǎng)頁設(shè)計(jì)公司、商城網(wǎng)站、搜索引擎優(yōu)化、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)