版本和集群環(huán)境
kafka版本:2.11
集群環(huán)境:兩臺(tái)虛擬機(jī)(我這里是一臺(tái)當(dāng)producer,一臺(tái)當(dāng)consumer)
官網(wǎng):http://kafka.apache.org/
官方文檔:http://kafka.apache.org/documentation.html#quickstart
參考:https://kafka.apache.org/08/quickstart.html
基礎(chǔ)配置:已安裝jdk和zookeeper(zookeeper安裝參照http://blog.csdn.net/unix21/article/details/18990123)
Step 1:下載kafka
到官網(wǎng)上下載穩(wěn)定版本的kafka,解壓
tar -zxvf kafka_2.11-0.8.2.2.tgz
Step 2:修改配置文件
修改config下的server.properties就可以了。需要配置的屬性有:broker.id(標(biāo)示當(dāng)前server在集群中的id,從0開(kāi)始),port,host.name(當(dāng)前的server host name),zookeeper.connect(連接的zookeeper集群),log.dirs(log的存儲(chǔ)目錄,記得對(duì)應(yīng)的去建立這個(gè)目錄)等,其他的一些配置可以看相應(yīng)的注釋:(截圖不全,僅供參考)
Step 3:把配置好的kafka復(fù)制到其它server上
scp -r kafka_2.11-0.8.2.2 slave1:~
Step 4:修改每臺(tái)server的配置文件,主要是broker.id 和host.name
Step 5:先啟動(dòng)zookeeper集群,再啟動(dòng)kafka集群
啟動(dòng)zookeeper集群:./zkServer.sh start
在每臺(tái)server上啟動(dòng)kafka:./kafka-server-start.sh ../config/server.properties
Step 6:創(chuàng)建topic
./kafka-topics.sh --zookeeper master:2181 --topic test --replication-factor 2 --partitions 3 --create
Step 7:查看topic
查看所有topic:./kafka-topics.sh --list --zookeeper master:2181
查看一個(gè)topic詳情:./kafka-topics.sh --describe --zookeeper master:2181 --topic test
partiton:partion id從0開(kāi)始
leader:當(dāng)前負(fù)責(zé)讀寫(xiě)的lead broker id
relicas:當(dāng)前partition的所有replication broker list
isr:relicas的子集,只包含出于活動(dòng)狀態(tài)的broker
Step 8:創(chuàng)建producer
./kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic test
This is a message
注意,如果上述命令不能發(fā)送接收消息,報(bào)一下錯(cuò)誤:
ERROR Failed to collate messages by topic, partition due to: fetching topic metadata for topics [Set(test)] from broker [ArrayBuffer(id:1,host:slave1,port:9092, id:0,host:master,port:9092)] failed (kafka.producer.async.DefaultEventHandler)
則說(shuō)明broker的host.name屬性配置有問(wèn)題,可以用ip或者是hosts里配好的域名
Step 9:創(chuàng)建consumer
./kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic test
就可以看到消息了。
如果要最新的數(shù)據(jù),可以不帶--from-beginning參數(shù)即可。
最后測(cè)試容錯(cuò)能力:
如果broker 0作為leader運(yùn)行,現(xiàn)在我們殺掉broker 0,在查看topic的詳細(xì)信息,發(fā)現(xiàn)leader都是broker 1了,并且consumer依然可以消費(fèi)消息
Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx
1.項(xiàng)目核心代碼結(jié)構(gòu)截圖
項(xiàng)目模塊依賴
特別提醒:開(kāi)發(fā)人員在開(kāi)發(fā)的時(shí)候可以將自己的業(yè)務(wù)REST服務(wù)化或者Dubbo服務(wù)化
網(wǎng)頁(yè)標(biāo)題:kafka集群搭建
當(dāng)前路徑:http://www.rwnh.cn/article0/cpiiio.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供定制網(wǎng)站、品牌網(wǎng)站建設(shè)、營(yíng)銷型網(wǎng)站建設(shè)、外貿(mào)建站、企業(yè)建站、App設(shè)計(jì)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)