這篇文章主要講解了“怎么理解MyCAT中的DDL”,文中的講解內(nèi)容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“怎么理解MyCAT中的DDL”吧!
今天開發(fā)同學提了一個需求,是希望對某一個時間范圍的表做DDL操作,看起來好像復雜度也不高。
但是我一看開發(fā)同學提供的信息時就有點猶豫了,因為端口是8066,也就意味著使用了中間件。這是一套MyCAT的環(huán)境,一共有4個節(jié)點,每個節(jié)點拆分成了4個邏輯節(jié)點,所以有16個sharding分片,正是應了那句話:百庫十表。雖然目前看起來節(jié)點數(shù)也不多,但是看看這個表hisrecord的分片邏輯就會發(fā)現(xiàn),遠遠比我們想的要更豐富一些。
這個表是按照日期來存儲數(shù)據(jù)的,即數(shù)據(jù)的存儲單位是日。表名類似于rec20180301,rec20180302這種。所以按照這種增長的趨勢,可以根據(jù)時間維度不斷擴展,同時又對每天的表做了細粒度的拆分,每個日表會有16個分片做hashl路由。
開發(fā)同學的需求是對某一天之后的日表添加字段,變更第一天的數(shù)據(jù)需要對該字段添加默認值,之后的就不需要默認值了,這個從業(yè)務的角度來說,是因為應用層升級,需要這個屬性,如果有些業(yè)務暫時還沒有遷移過來,有一天的時間來緩沖調(diào)整修復。所以目前的需求的福利就是我們要修改的表目前沒有寫入,做變更不用考慮在線業(yè)務的寫入影響。
我簡單算了下,按照目前的修改幅度,影響的日表有177個。
mysql> select datediff('2018-11-01','2018-05-08');
+-------------------------------------+
| datediff('2018-11-01','2018-05-08') |
+-------------------------------------+
| 177 |
+-------------------------------------+
1 row in set (0.00 sec)
按照16個分片來算,這個數(shù)量就相當大了,有2800多張表。
mysql> select 177*16;
+--------+
| 177*16 |
+--------+
| 2832 |
+--------+
1 row in set (0.00 sec)
涉及的DDL表有2個,即2個DDL語句,所以算下來就是5600多張表了。所以你看一張表就能拆分成2000多張表,一年有差不多5800張相關(guān)的表。
如果在這個基礎上考慮當天的表結(jié)構(gòu)變更,那就更復雜了。
我們來簡單看下MyCAT里面的schema.xml配置。
里面配置了16個分片,即dn50-dn65,database是histrecord01-histrecord16
<dataNode name="dn50" dataHost="localhost1" database="hisrecord01" />
<dataNode name="dn51" dataHost="localhost1" database="hisrecord02" />
。。。
<dataNode name="dn65" dataHost="localhost4" database="hisrecord16" />
對表的分片規(guī)則是按照hash取模來計算的。
<table name="rec20180301" dataNode="dn$50-65" rule="mod-long-16-pid" />
<table name="rec20180302" dataNode="dn$50-65" rule="mod-long-16-pid" />。。。
<table name="rec20180307" dataNode="dn$50-65" rule="mod-long-16-pid" />
要做這個工作,手工完成的可能性太低,所以準備了如下的腳本,借鑒了之前同事的一些思路。
我們輸入兩個時間,即起始時間,終止時間。app_sql/create_sql.sql是表結(jié)構(gòu)的定義文件。這個腳本的意義在于不斷的處理表結(jié)構(gòu)信息,打上時間戳,寫入另外一個腳本文件,按照日期循環(huán)100天,就寫入100次。
startdate=`date -d "20180508" +%Y%m%d`
enddate=`date -d "20181101" +%Y%m%d`
#定義循環(huán)主函數(shù)
function main(){
while [[ ${startdate} < ${enddate} ]]
do
echo ${startdate}
cat /home/mysql/app_sql/create_sql.sql >> /home/mysql/app_sql/alter_his_record.sql
sed -i "s/20180508/${startdate}/g" /home/mysql/app_sql/alter_his_record.sql
echo "" >> /home/mysql/app_sql/alter_his_record.sql
echo
startdate=`date -d "+1 day ${startdate}" +%Y%m%d`
done
}
#執(zhí)行主函數(shù)
main
所以很快就完成了上述的基本操作。當然MyCAT端是不支持DDL語句的。所以我們需要在每個節(jié)點上單獨去執(zhí)行相應的變更DDL。
根據(jù)得到的腳本略作改動,就可以分發(fā)到不同的sharding節(jié)點側(cè)了。整個過程持續(xù)了不到半個小時,很多時間都是在不斷的確認中,因為這個變更的影響范圍確實有點大。
當然這個問題的前提是我們已經(jīng)創(chuàng)建好了日表,如果沒有日表的話,我們還是需要重新配置一下,然后在MyCAT端reload一些配置。
把這個任務擴展一下,就會發(fā)現(xiàn),中間件層面的數(shù)據(jù)處理更側(cè)重于TP業(yè)務,而且是插入密集型的業(yè)務,如果是節(jié)點間的交互分布式,那這個方案就不大適合了。同時不斷的拆分從業(yè)務的角度來說,歷史數(shù)據(jù)的歸檔保留和數(shù)據(jù)的聚合需求還是有的??赡茉谶@個時候中間件層面的支持就很有限了,我們在一定程度上可能需要其他的解決方案。
感謝各位的閱讀,以上就是“怎么理解MyCAT中的DDL”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對怎么理解MyCAT中的DDL這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!
分享題目:怎么理解MyCAT中的DDL-創(chuàng)新互聯(lián)
本文來源:http://www.rwnh.cn/article16/djhegg.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供云服務器、網(wǎng)站設計公司、App設計、移動網(wǎng)站建設、ChatGPT、手機網(wǎng)站建設
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內(nèi)容