大多數(shù)企業(yè)夢寐以求的存儲系統(tǒng)是什么樣的呢?當(dāng)圖片、文章甚至視頻需要存儲時，你希望既不丟失還要提供高速讀寫的能力;當(dāng)磁盤壞了，你的數(shù)據(jù)依然還在;當(dāng)用戶訪問量成倍增長，讀寫能力依然保持高速。當(dāng)大促來臨，用戶體驗依然無差。這一切都是京東分布式K-V存儲的設(shè)計原動力，京東商城-基礎(chǔ)架構(gòu)部丁俊在SACC大會《數(shù)據(jù)庫架構(gòu)設(shè)計與實踐》現(xiàn)場分享了京東分布式K-V存儲的設(shè)計與挑戰(zhàn)。

創(chuàng)新互聯(lián)建站是一家專業(yè)提供米林企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計制作、網(wǎng)站建設(shè)、HTML5建站、小程序制作等業(yè)務(wù)。10年已為米林眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)絡(luò)公司優(yōu)惠進(jìn)行中。

　　京東分布式存儲兩大產(chǎn)品是非持久化存儲JIMDB與持久化存儲FBASE。其中，JIMDB兼容REDIS協(xié)議，在線彈性伸縮的，數(shù)據(jù)全部保存在內(nèi)存的K-V存儲系統(tǒng);FBASE支持多協(xié)議，支持范圍查找的持久化K-V存儲系統(tǒng)。對一些對讀寫性能要求較高的場景，性能自然優(yōu)先于數(shù)據(jù)可靠性，JIMDB是合適的選擇;對數(shù)據(jù)可靠性要求高，數(shù)據(jù)量大，數(shù)據(jù)冷熱分布明顯的場景，選擇FBASE是明智的。

　　丁俊表示，整個設(shè)計過程面臨著諸多挑戰(zhàn)，比如故障檢測與恢復(fù)、在線擴(kuò)容、高可用以及升級等，JIMDB的故障檢測與恢復(fù)容易出現(xiàn)基數(shù)大、故障次數(shù)多，人工響應(yīng)慢和誤判等問題，出現(xiàn)這種問題的原因可能是部分網(wǎng)絡(luò)故障或者服務(wù)程序繁忙造成響應(yīng)慢。主要的解決方案是將故障檢測程序獨立部署，分散在不同機(jī)架上;投票決定，存活狀態(tài)一票否決;一個機(jī)房部署多組，每組負(fù)責(zé)部分實例;宿主機(jī)agent輔助檢測確認(rèn)。

　　隨著近兩年京東618、雙11大促的火熱，業(yè)務(wù)增長遠(yuǎn)超預(yù)期，資源緊缺成為一種常態(tài)，這種情況下就需要考慮在線擴(kuò)容的問題了。丁俊表示，擴(kuò)容觸發(fā)條件是單個分片內(nèi)存占用大小和進(jìn)出流量(CPU使用率)，而單個分片的大小主要考慮擴(kuò)容過程的持續(xù)時間和CPU與內(nèi)存的使用率。

　　在擴(kuò)容之前，最好提前把將要變更的拓?fù)湫畔⑾掳l(fā)給客戶端，客戶端捕捉到特定異常后使用臨時拓?fù)?，擴(kuò)容完成后臨時拓?fù)渥兏鼮檎酵負(fù)?，這三步可以保證平滑擴(kuò)容。但要注意數(shù)據(jù)遷移的最小單位為槽，單shard需要控制大小，避免遷移數(shù)據(jù)多時間長。

　　對于多副本異步復(fù)制，副本部署要求是跨物理機(jī)、跨機(jī)房、同城跨機(jī)房以及異地數(shù)據(jù)中心。至于JIMDB異地災(zāi)備，可直接部署slave，內(nèi)存緩沖區(qū);經(jīng)過synclog模塊，異地機(jī)房只是一個遠(yuǎn)程副本;集群間有復(fù)制關(guān)系。

　　如果需要升級，丁俊表示，內(nèi)存中的數(shù)據(jù)需要做遷移，按照shard滾動升級，新版本的容器創(chuàng)建在同一臺宿主機(jī)上，遷移完成后客戶端捕捉到數(shù)據(jù)已遷移的異常，會使用新的拓?fù)洹?/p>

　　至于持久化存儲Fbase，KEY全局有序排列，支持多種復(fù)制模式，支持schema，支持模板列，插入時可以自動添加列，存儲層LSM-Tree(Log-Structured Merge Tree)。適用場景是按key訪問，或者單個partition內(nèi)范圍掃描。缺點是不能全局范圍掃描，讀取必須帶有partition key，

　　兼容redis協(xié)議、partition second index等特性的Table，一個partition對應(yīng)一個dataserver，有容量限制，需要提前規(guī)劃。緩存有塊緩存和KEY緩存兩種方式，按照hash規(guī)則進(jìn)行分區(qū)的，需要開啟KEY級別的緩存。

　　新一輪的電商狂歡節(jié)又要來臨，京東分布式K-V存儲系統(tǒng)可準(zhǔn)備好了嗎?丁俊表示，未來的K-V存儲將主要從redis數(shù)據(jù)結(jié)構(gòu)、支持二級索引、支持事務(wù)三方面優(yōu)化。

當(dāng)前文章：京東丁俊:京東分布式K-V存儲設(shè)計與挑戰(zhàn)-創(chuàng)新互聯(lián)
路徑分享：http://www.rwnh.cn/article38/doecpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、面包屑導(dǎo)航、用戶體驗、域名注冊、商城網(wǎng)站、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)