中文字幕日韩精品一区二区免费_精品一区二区三区国产精品无卡在_国精品无码专区一区二区三区_国产αv三级中文在线

大數(shù)據(jù)生態(tài)之zookeeper(原理)-創(chuàng)新互聯(lián)

1. 集群的角色描述:

目前創(chuàng)新互聯(lián)公司已為上千的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、綿陽服務器托管、企業(yè)網(wǎng)站設(shè)計、平湖網(wǎng)站維護等服務,公司將堅持客戶導向、應用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。

大數(shù)據(jù)生態(tài)之zookeeper(原理)

角色

描述

領(lǐng)導者(leader)

領(lǐng)導者負責進行公布決議,主要處理寫請求

跟隨者(follower)

Follower用于接收客戶端請求并向客戶端返回結(jié)果(只能處理讀請求,如果接收到寫請求,
將寫請求轉(zhuǎn)發(fā)給leader),當leader宕機時,發(fā)起選主,有投票和被投票權(quán)

觀察者(observer)

Observer可以接收客戶端連接,將寫請求轉(zhuǎn)發(fā)給leader節(jié)點,幫助follower減輕讀的壓力。
但Observer不參加選舉和被選舉。Observer的目錄是為了擴展系統(tǒng),提高讀取速度

客戶端

請求發(fā)起方

2. zookeeper的選主過程

(1)全新集群的選主:

            根據(jù)啟動的順序和id進行選主(過半機制:集群中超過半數(shù)的集群可使用時,才開始選主)

            以hadoop01(id=1)—hadoop02(id=2)---hadoop03(id=3)----hadoop04(id=r)----hadoop05(id=5)為例:

  • 當hadoop01啟動時,此時只有它一臺服務器,,他發(fā)出取的報告沒有任何相應,所有它的選舉一直是looking狀態(tài)。

  • Hadoop02啟動:它與最開始啟動的hadoop01進行通信,相互交換自己的選舉結(jié)果,由于兩者都沒有歷史數(shù)據(jù),所以id值較大的服務器勝出,但是由于沒有達到超過半數(shù)以上的服務器同意選舉它(這個例子中的半數(shù)以上是 3),所有hadoop01、hadoop02還是繼續(xù)保持looking狀態(tài)。

  • Hadoop03啟動,根據(jù)前面的分析,服務器 3 成為服務器 1,2,3 中的老大,而與上面不 同的是,此時有三臺服務器(超過半數(shù))選舉了它,所Hadoop03它成為了這次選舉的 leader

  • 服hadoop04啟動,根據(jù)上面的分析,理論上,hadoop04應該是服務器中id大的,但是由前面已近有超過半數(shù)的服務器選舉了hadoop03,所以hadoop04只能是follower

  • Hadoop05啟動,與hadoop04一樣,也是follower

         zookeeper server的三種工作狀態(tài):

    • LOOKING:當前 Server 不知道 leader 是誰,正在搜尋,正在選舉

    • LEADING:當前 Server 即為選舉出來的 leader,負責協(xié)調(diào)事務

    • FOLLOWING:leader 已經(jīng)選舉出來,當前 Server 與之同步,服從 leader 的命令

(2)非全新集群的選主

        leader 已經(jīng)選舉出來,當前 Server 與之同步,服從 leader 的命令,但是由于某種原因主節(jié)點宕機:

        此時我們根據(jù)三個維度來選主:數(shù)據(jù)version、serverid、邏輯時鐘。

  • 數(shù)據(jù)version:數(shù)據(jù)新的version就大,數(shù)據(jù)每次更新,同時會更新它的version

  • Serverid:就是我們配置的 myid 中的值,每個機器一個

  • 邏輯時鐘:這個值從0開始,每一次選舉對應一個值,也就是說,如果在同一次選舉中,這個值應該一致,邏輯時鐘越大,說明這一次選舉leader人的進程更新,也就是每次選舉擁有一個 zxid,投票結(jié)果只取 zxid 最新的

       選舉的標準:

  • 邏輯時鐘小的選舉結(jié)果被忽略,重新投票

  • 統(tǒng)一邏輯時鐘后數(shù)據(jù)version大的勝出

  • 邏輯時鐘統(tǒng)一,version也相同,,server id 大的勝出。

      根據(jù)以上的規(guī)則,快速選出集群的主節(jié)點。

3. zookeeper寫數(shù)據(jù)的流程:

  • 客戶端發(fā)送寫入數(shù)據(jù)的請求,這個請求最終會被leader處理

  • leader會先寫入數(shù)據(jù),寫入完成之后通知follower進行數(shù)據(jù)的同步

  • follower就會開始進行數(shù)據(jù)的同步(并行,多臺follower并行同步)

  • 每一個follower只要數(shù)據(jù)同步完成就會向leader發(fā)送數(shù)據(jù)同步成功信息

  • leader接收到超過半數(shù)以上的成功信息后,則認為這次寫數(shù)據(jù)成功

  • 其他節(jié)點慢慢進行同步,在數(shù)據(jù)同步的過程中,不對外提供讀寫服務

4. zookeeper的數(shù)據(jù)的同步過程

  • follower連接leader并發(fā)送自己大的zixd

  • leader進行對比,將自己大的zxid和follower發(fā)送過來的zxid進行對比,如果leader的zxid大于follower的,則通知follower進行數(shù)據(jù)同步

  • follower發(fā)送數(shù)據(jù)同步請求

  • leader確定當前的follower的數(shù)據(jù)同步點(從follower大的zxid到leader大的zxid之間數(shù)據(jù)需要同步)

  • follower開始同步數(shù)據(jù),這個過程不對外提供讀寫服務。

  • follower同步完成,發(fā)送消息給leader

  • leader就會修改當前的follower的狀態(tài)為update,這個時候follower就可以接受客戶端的讀寫請求,但是只能讀,如果是寫入請求,需要轉(zhuǎn)發(fā)給leader

5. ZooKeeper 中各個角色的工作職責

  (1)Leader

  • 恢復數(shù)據(jù)

  • 維持與follower的心跳,接收follower請求并判斷follower的請求消息類型

  • 根據(jù)不同的消息類型,進行不同的處理

   (2)follower

  • 向leader發(fā)送請求(同步數(shù)據(jù),寫入請求)

  • 接收leader的消息并進行相應的處理

  • 接收client的讀寫請求,如果是寫入的請求轉(zhuǎn)發(fā)給leader處理

  • 返回client的讀請求,查詢的結(jié)果

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。

名稱欄目:大數(shù)據(jù)生態(tài)之zookeeper(原理)-創(chuàng)新互聯(lián)
文章起源:http://www.rwnh.cn/article16/ddcddg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站建設(shè)、ChatGPT電子商務、網(wǎng)站設(shè)計公司、服務器托管、手機網(wǎng)站建設(shè)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

微信小程序開發(fā)
台山市| 平潭县| 沁阳市| 哈密市| 灵丘县| 仁化县| 临颍县| 宿迁市| 杂多县| 高雄市| 文成县| 林西县| 宿迁市| 璧山县| 四川省| 张家港市| 吉隆县| 丹江口市| 甘南县| 肃宁县| 海兴县| 通榆县| 买车| 黄山市| 黄骅市| 汉沽区| 定安县| 阿克苏市| 吕梁市| 平陆县| 沁水县| 霸州市| 天气| 北碚区| 五常市| 资中县| 余庆县| 宜川县| 循化| 郑州市| 桂阳县|