MySQL大數(shù)據(jù)量快速插入方法和語句優(yōu)化是本文我們主要要介紹的內(nèi)容，接下來我們就來一一介紹，希望能夠讓您有所收獲！

INSERT語句的速度

插入一個記錄需要的時間由下列因素組成，其中的數(shù)字表示大約比例：

連接：（3）

發(fā)送查詢給服務(wù)器：（2）

分析查詢：（2）

插入記錄：（1x記錄大?。?/p> 插入索引：（1x索引）

關(guān)閉：（1）

這不考慮打開表的初始開銷，每個并發(fā)運(yùn)行的查詢打開。

表的大小以logN （B樹）的速度減慢索引的插入。

加快插入的一些方法

如果同時從同一個客戶端插入很多行，使用含多個VALUE的INSERT語句同時插入幾行。這比使用單行INSERT語句快（在某些情況下快幾倍）。如果你正向一個非空表添加數(shù)據(jù)，可以調(diào)節(jié)bulk_insert_buffer_size變量，使數(shù)據(jù)插入更快。

如果你從不同的客戶端插入很多行，能通過INSERT DELAYED語句加快速度。

用MyISAM，如果在表中沒有刪除的行，能在SELECT語句正在運(yùn)行的同時插入行。

當(dāng)從一個文本文件裝載一個表時，使用LOAD DATA INFILE。這通常比使用很多INSERT語句快20倍。參見13.2.5節(jié)，“LOAD DATA INFILE語法”。

當(dāng)表有很多索引時，有可能要多做些工作使得LOAD DATA INFILE更快些。使用下列過程：

有選擇地用CREATE TABLE創(chuàng)建表

執(zhí)行FLUSH TABLES語句或命令mysqladmin flush-tables。使用myisamchk –keys-used=0 -rq /path/to/db/tbl_name。這將從表中取消所有索引的使用。

用LOAD DATA INFILE把數(shù)據(jù)插入到表中，因?yàn)椴桓氯魏嗡饕虼撕芸臁?如果只想在以后讀取表，使用myisampack壓縮它。參見15.1.3.3節(jié)，“壓縮表特性”。

用myisamchk -r -q /path/to/db/tbl_name重新創(chuàng)建索引。這將在寫入磁盤前在內(nèi)存中創(chuàng)建索引樹，并且它更快，因?yàn)楸苊饬舜罅看疟P搜索。結(jié)果索引樹也被好地平衡。 執(zhí)行FLUSH TABLES語句或mysqladmin flush-tables命令。

請注意如果插入一個空MyISAM表，LOAD DATA INFILE也可以執(zhí)行前面的優(yōu)化；主要不同處是可以讓myisamchk為創(chuàng)建索引分配更多的臨時內(nèi)存，比執(zhí)行LOAD DATA INFILE語句時為服務(wù)器重新創(chuàng)建索引分配得要多。

也可以使用ALTER TABLE tbl_name DISABLE KEYS代替myisamchk –keys-used=0 -rq/path/to/db/tbl_name，使用ALTER TABLE tbl_name ENABLE KEYS代替myisamchk -r -q/path/to/db/tbl_name。使用這種方式，還可以跳過FLUSH TABLES。

鎖定表可以加速用多個語句執(zhí)行的INSERT操作：

LOCK TABLES a WRITE;

INSERT INTO a VALUES (1,23),(2,34),(4,33);

INSERT INTO a VALUES (8,26),(6,29);

UNLOCK TABLES;

這樣性能會提高，因?yàn)樗饕彺鎱^(qū)僅在所有INSERT語句完成后刷新到磁盤上一次。一般有多少INSERT語句即有多少索引緩存區(qū)刷新。如果能用一個語句插入所有的行，就不需要鎖定。

對于事務(wù)表，應(yīng)使用BEGIN和COMMIT代替LOCK TABLES來加快插入。

鎖定也將降低多連接測試的整體時間，盡管因?yàn)樗鼈兊群蜴i定大等待時間將上升。例如：

Connection 1 does 1000 inserts

Connections 2, 3, and 4 do 1 inser

Connection 5 does 1000 inserts

如果不使用鎖定，2、3和4將在1和5前完成。如果使用鎖定，2、3和4將可能不在1或5前完成，但是整體時間應(yīng)該快大約40%。

INSERT、UPDATE和DELETE操作在MySQL中是很快的，通過為在一行中多于大約5次連續(xù)不斷地插入或更新的操作加鎖，可以獲得更好的整體性能。如果在一行中進(jìn)行多次插入，可以執(zhí)行LOCK TABLES，隨后立即執(zhí)行UNLOCK TABLES(大約每1000行)以允許其它的線程訪問表。這也會獲得好的性能。

INSERT裝載數(shù)據(jù)比LOAD DATA INFILE要慢得多，即使是使用上述的策略。

為了對LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度，通過增加key_buffer_size系統(tǒng)變量來擴(kuò)大 鍵高速緩沖區(qū)。

INSERT語法

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]

[INTO] tbl_name [(col_name,...)]

VALUES ({expr | DEFAULT},...),(...),...

[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

或：

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]

[INTO] tbl_name

SET col_name={expr | DEFAULT}, ...

[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

或：

INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]

[INTO] tbl_name [(col_name,...)]

SELECT ...

[ ON DUPLICATE KEY UPDATE col_name=expr, ... ]

一、DELAYED 的使用

使用延遲插入操作DELAYED調(diào)節(jié)符應(yīng)用于INSERT和REPLACE語句。當(dāng)DELAYED插入操作到達(dá)的時候，服務(wù)器把數(shù)據(jù)行放入一個隊(duì)列中，并立即給客戶端返回一個狀態(tài)信息，這樣客戶端就可以在數(shù)據(jù)表被真正地插入記錄之前繼續(xù)進(jìn)行操作了。如果讀取者從該數(shù)據(jù)表中讀取數(shù)據(jù)，隊(duì)列中的數(shù)據(jù)就會被保持著，直到?jīng)]有讀取者為止。

接著服務(wù)器開始插入延遲數(shù)據(jù)行（delayed-row）隊(duì)列中的數(shù)據(jù)行。在插入操作的同時，服務(wù)器還要檢查是否有新的讀取請求到達(dá)和等待。如果有，延遲數(shù)據(jù)行隊(duì)列就被掛起，允許讀取者繼續(xù)操作。當(dāng)沒有讀取者的時候，服務(wù)器再次開始插入延遲的數(shù)據(jù)行。這個過程一直進(jìn)行，直到隊(duì)列空了為止。

幾點(diǎn)要注意事項(xiàng)

INSERT DELAYED應(yīng)該僅用于指定值清單的INSERT語句。服務(wù)器忽略用于INSERT DELAYED…SELECT語句的DELAYED。服務(wù)器忽略用于INSERT DELAYED…ON DUPLICATE UPDATE語句的DELAYED。

因?yàn)樵谛斜徊迦肭?，語句立刻返回，所以您不能使用LAST_INSERT_ID()來獲取AUTO_INCREMENT值。AUTO_INCREMENT值可能由語句生成。

對于SELECT語句，DELAYED行不可見，直到這些行確實(shí)被插入了為止。

DELAYED在從屬復(fù)制服務(wù)器中被忽略了，因?yàn)镈ELAYED不會在從屬服務(wù)器中產(chǎn)生與主服務(wù)器不一樣的數(shù)據(jù)。注意，目前在隊(duì)列中的各行只保存在存儲器中，直到它們被插入到表中為止。這意味著，如果您強(qiáng)行中止了mysqld(例如，使用kill -9)或者如果mysqld意外停止，則所有沒有被寫入磁盤的行都會丟失。

二、IGNORE的使用

IGNORE是MySQL相對于標(biāo)準(zhǔn)SQL的擴(kuò)展。如果在新表中有重復(fù)關(guān)鍵字，或者當(dāng)STRICT模式啟動后出現(xiàn)警告，則使用IGNORE控制ALTER TABLE的運(yùn)行。

如果沒有指定IGNORE，當(dāng)重復(fù)關(guān)鍵字錯誤發(fā)生時，復(fù)制操作被放棄，返回前一步驟。

如果指定了IGNORE，則對于有重復(fù)關(guān)鍵字的行，只使用第一行，其它有沖突的行被刪除。并且，對錯誤值進(jìn)行修正，使之盡量接近正確值。insert ignore into tb(…) value(…)這樣不用校驗(yàn)是否存在了，有則忽略，無則添加。

三、ON DUPLICATE KEY UPDATE的使用

如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后會導(dǎo)致在一個UNIQUE索引或PRIMARY KEY中出現(xiàn)重復(fù)值，則執(zhí)行舊行UPDATE。例如，如果列a被定義為UNIQUE，并且包含值1，則以下兩個語句具有相同的效果：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

-> ON DUPLICATE KEY UPDATE cc=c+1;

mysql> UPDATE table SET cc=c+1 WHERE a=1;

如果行作為新記錄被插入，則受影響行的值為1；如果原有的記錄被更新，則受影響行的值為2。

注釋：如果列b也是唯一列，則INSERT與此UPDATE語句相當(dāng)：

mysql> UPDATE table SET cc=c+1 WHERE a=1 OR b=2 LIMIT 1;

如果a=1 OR b=2與多個行向匹配，則只有一個行被更新。通常，您應(yīng)該盡量避免對帶有多個唯一關(guān)鍵字的表使用ON DUPLICATE KEY子句。您可以在UPDATE子句中使用VALUES(col_name)函數(shù)從INSERT…UPDATE語句的INSERT部分引用列值。換句話說，如果沒有發(fā)生重復(fù)關(guān)鍵字沖突，則UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函數(shù)特別適用于多行插入。VALUES()函數(shù)只在INSERT…UPDATE語句中有意義，其它時候會返回NULL。

示例：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6)

 -> ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);

本語句與以下兩個語句作用相同：

mysql> INSERT INTO table (a,b,c) VALUES (1,2,3)

-> ON DUPLICATE KEY UPDATE c=3;

mysql> INSERT INTO table (a,b,c) VALUES (4,5,6)

-> ON DUPLICATE KEY UPDATE c=9;

當(dāng)您使用ON DUPLICATE KEY UPDATE時，DELAYED選項(xiàng)被忽略。

新聞標(biāo)題：MySQL 大數(shù)據(jù)量快速插入方法和語句優(yōu)化
本文地址：http://www.rwnh.cn/news/165090.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站排名、移動網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、虛擬主機(jī)、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)