1、還好MySQL數(shù)據(jù)庫提供了一種主從備份的機(jī)制,其實(shí)就是把主數(shù)據(jù)庫的所有的數(shù)據(jù)同時(shí)寫到備份數(shù)據(jù)庫中。實(shí)現(xiàn)MySQL數(shù)據(jù)庫的熱備份。
在定海等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供網(wǎng)站制作、成都網(wǎng)站建設(shè) 網(wǎng)站設(shè)計(jì)制作專業(yè)公司,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),成都營銷網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站建設(shè)公司,定海網(wǎng)站建設(shè)費(fèi)用合理。
2、要想實(shí)現(xiàn)雙機(jī)的熱備首先要了解主從數(shù)據(jù)庫服務(wù)器的版本的需求。要實(shí)現(xiàn)熱備MySQL的版本都要高于3.2,還有一個(gè)基本的原則就是作為從數(shù)據(jù)庫的數(shù)據(jù)庫版本可以高于主服務(wù)器數(shù)據(jù)庫的版本,但是不可以低于主服務(wù)器的數(shù)據(jù)庫版本。
3、設(shè)置主數(shù)據(jù)庫服務(wù)器: a.首先查看主服務(wù)器的版本是否是支持熱備的版本。然后查看my.cnf(類Unix)或者my.ini(Windows)中MySQLd配置塊的配置有沒有l(wèi)og-bin(記錄數(shù)據(jù)庫更改日志),因?yàn)镸ySQL的復(fù)制機(jī)制是基于日志的復(fù)制機(jī)制,所以主服務(wù)器一定要支持更改日志才行。然后設(shè)置要寫入日志的數(shù)據(jù)庫或者不要寫入日志的數(shù)據(jù)庫。這樣只有您感興趣的數(shù)據(jù)庫的更改才寫入到數(shù)據(jù)庫的日志中。 server-id=1 //數(shù)據(jù)庫的id這個(gè)應(yīng)該默認(rèn)是1就不用改動 log-bin=log_name //日志文件的名稱, //這里可以制定日志到別的目錄 如果沒有設(shè)置則默認(rèn)主機(jī)名的一個(gè)日志名稱 binlog-do-db=db_name //記錄日志的數(shù)據(jù)庫 binlog-ignore-db=db_name //不記錄日志的數(shù)據(jù)庫以上的如果有多個(gè)數(shù)據(jù)庫用","分割開 然后設(shè)置同步數(shù)據(jù)庫的用戶賬號 MySQL GRANT REPLICATION SLAVE ON *.* - TO 'repl'@'%.mydomain.com' IDENTIFIED BY 'slavepass';4.0.2以前的版本, 因?yàn)椴恢С諶EPLICATION 要使用下面的語句來實(shí)現(xiàn)這個(gè)功能 MySQL GRANT FILE ON *.* - TO 'repl'@'%.mydomain.com' IDENTIFIED BY 'slavepass';設(shè)置好主服務(wù)器的配置文件后重新啟動數(shù)據(jù)庫 b.鎖定現(xiàn)有的數(shù)據(jù)庫并備份現(xiàn)在的數(shù)據(jù) 鎖定數(shù)據(jù)庫 MySQL FLUSH TABLES WITH READ LOCK;備份數(shù)據(jù)庫有兩種辦法一種是直接進(jìn)入到MySQL的data目錄然后打包你需要備份數(shù)據(jù)庫的文件夾,第二種是使用MySQLdump的方式來備份數(shù)據(jù)庫但是要加上"--master-data " 這個(gè)參數(shù),建議使用第一種方法來備份數(shù)據(jù)庫
1、首先打開mysql數(shù)據(jù)庫軟件進(jìn)入軟件主界面。
2、然后再左側(cè)樹里打開自己的的數(shù)據(jù)庫。
3、然后需要點(diǎn)擊需要備份的數(shù)據(jù)庫名。
4、如圖所示為打開數(shù)據(jù)庫后界面。
5、然后需要點(diǎn)擊轉(zhuǎn)儲sql文件選項(xiàng)。
6、然后需要打開選擇存儲文件路徑并選擇保存。
7、點(diǎn)擊保存即可在路徑備份好格式為sql的數(shù)據(jù)庫文件。
系統(tǒng)建加R,輸入cmd,把地址復(fù)制下,在運(yùn)行框框里輸入回車下,
在運(yùn)行框框里輸入 mysqldump - u root - p (數(shù)據(jù)庫名字 )(新的文件名);
然后回車就好了
下面我們就看一下常見的備份工具,以及目前最流行的 Percona XtraBackup 的備份流程。
MySQL 常見的備份工具主要分為三種:
這里先說一下 binlog 備份,它只是把 binlog 又復(fù)制了一份,并且需要在邏輯備份或者物理備份的基礎(chǔ)上才能進(jìn)行數(shù)據(jù)恢復(fù),無法單獨(dú)進(jìn)行數(shù)據(jù)恢復(fù)。
mysqldump 備份出的文件就是 sql 文件,其核心就是對每個(gè)表執(zhí)行 select ,然后轉(zhuǎn)化成相應(yīng)的 insert 語句。mysqldump 的備份流程大致如下:
從上面可以看出在 mysqldump 備份期間,備份到某個(gè)數(shù)據(jù)庫時(shí),該數(shù)據(jù)庫下的表都會處于只讀狀態(tài),無法對表進(jìn)行任何變更,直到該庫下的表備份完畢,這對于線上環(huán)境一般是無法接受的。若是指定了--master-data或者 --dump-slave 則會在備份開始時(shí)加全局讀鎖(FLUSH TABLES WITH READ LOCK),直到備份結(jié)束。當(dāng)然我們可以選一個(gè)從庫進(jìn)行備份,這樣就不會影響線上業(yè)務(wù)。另外使用 mysqldump 備份還有一個(gè)最大的好處,因?yàn)閭浞莩鰜淼氖?sql 語句,所以它支持跨平臺和跨版本的數(shù)據(jù)遷移或者恢復(fù),這是物理備份無法做到的。
但是也正是因?yàn)?mysqldump 備份出來的是 sql 語句,在使用時(shí)要更加注意,否則可能會釀成大禍。例如,使用 mysqldump 常見的問題有:
所以使用 mysqldump 時(shí)一定要了解各個(gè)選項(xiàng)的作用,以及確認(rèn)備份出來的 sql 文件里會有什么操作,會對現(xiàn)有數(shù)據(jù)造成什么影響。
Mydumper 原理與 Mysqldump 原理類似,最大的區(qū)別是引入了多線程備份,每個(gè)備份線程備份一部分表,當(dāng)然并發(fā)粒度可以到行級,達(dá)到多線程備份的目的。這里不再單獨(dú)介紹。
Percona XtraBackup 是 Percona 公司開發(fā)的一個(gè)用于 MySQL 數(shù)據(jù)庫物理熱備的備份工具,是基于 InnoDB 的崩潰恢復(fù)功能來實(shí)現(xiàn)的。它的基本工作原理如下:
Percona XtraBackup 在進(jìn)行恢復(fù)時(shí)會應(yīng)用拷貝的 redo log ,應(yīng)用已提交的事務(wù),回滾未提交的事物,將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)。因?yàn)?Percona XtraBackup 備份出來的是物理文件,所以在使用備份出的文件進(jìn)行恢復(fù)或者遷移時(shí),不會像 mysqldump 那樣會存在很多問題。
使用 XtraBackup 備份時(shí)根據(jù)備份參數(shù)設(shè)置不同,對數(shù)據(jù)庫的變更會造成不同程度的影響,具體影響會在下文分析。
通過對比發(fā)現(xiàn),XtraBackup 具有對數(shù)據(jù)庫影響小,且能快速恢復(fù)的優(yōu)點(diǎn),在日常備份中是首選;mysqldump 使用相對更加靈活,但是使用是要注意對數(shù)據(jù)庫原有數(shù)據(jù)的影響。
備份策略主要有:全量備份和增量備份,再加上 binlog 備份。
目前去哪兒網(wǎng)數(shù)據(jù)庫備份主要采用 XtraBackup 全量備份 +binlog 備份。數(shù)據(jù)庫的重要級別不同,全量備份的頻率不同。備份程序主要架構(gòu)如下:
說明:
Percona XtraBackup 是目前備份 MySQL 使用最廣泛的工具。在備份過程中,數(shù)據(jù)庫可以進(jìn)行正常的讀寫或者其他變更操作,但是偶爾也會遇見備份引起的元數(shù)據(jù)鎖,或提交事務(wù)時(shí)發(fā)現(xiàn)被 binlog lock 阻塞等情況。下面我們就看一下 Percona XtraBackup 的備份流程和加鎖時(shí)機(jī)。
說明:以下對 Percona XtraBackup 的分析都是基于 2.4.23 的版本,其他版本會略有差別,但是關(guān)鍵步驟基本相同。
XtraBackup 在備份開始時(shí),會創(chuàng)建一個(gè)后臺線程,專門用于拷貝數(shù)據(jù)庫的 redo log 。首先 XtraBackup 會掃描每組 redo log 的頭部,找出當(dāng)前的 checkpoint lsn ,然后從該 lsn 后順序拷貝所有的 redo log ,包括后續(xù)新產(chǎn)生的 redo log 。該線程會一直持續(xù)到將非事務(wù)表完全拷貝完成,才會安全退出。備份日志輸出中會記錄拷貝開始時(shí)的 checkpoint lsn 。日志輸出如下:
在拷貝ibd文件之前,會先掃描數(shù)據(jù)庫的數(shù)據(jù)文件目錄,獲取ibdata1,undo tablespaces及所有的ibd文件列表,并會記錄相應(yīng)的 space id,因?yàn)樵诨謴?fù)時(shí)需要這些 space id來找到對應(yīng) doublewrite buffer里頁面的內(nèi)容,以及對應(yīng)的redo log條目。然后開始循環(huán)拷貝ibdata1,undo tablespaces及所有的ibd文件。
這里可通過設(shè)置--parallel進(jìn)行多線程備份,提高物理文件的拷貝效率。不設(shè)置則默認(rèn)為1。
在所有ibd文件拷貝完成后,XtraBackup開始備份非ibd文件。這一部分的邏輯比較復(fù)雜,因?yàn)閭浞莘莍bd文件前需要加鎖,具體是否會加鎖主要受到--no-lock 參數(shù)設(shè)置的影響。
若是設(shè)置了--no-lock為TRUE,則不會使用"FLUSH TABLES WITH READ LOCK"去加全局讀鎖,但是若備份過程中對non-InnoDB表執(zhí)行了DDL或者DML操作, 這會導(dǎo)致備份的不一致,恢復(fù)出來的數(shù)據(jù)就會有問題。所以是不建議將--no-lock為TRUE,默認(rèn)值是FALSE,也就是在不指定該選項(xiàng)的情況下會在備份非ibd文件前加全局讀鎖。
下面我們結(jié)合源碼來看看判斷是否加全局鎖這部分的具體流程邏輯:
流程圖如下:
總結(jié)來看:
1)若--no-lock為FALSE(默認(rèn)值),則先施加全局讀鎖,然后再進(jìn)行拷貝文件,另外若 --safe-slave-backup 設(shè)置為TRUE ,則會在加全局鎖之前關(guān)閉SQL_THREAD線程;
2)若--no-lock為TRUE,則不會施加鎖,直接進(jìn)行拷貝文件。
加鎖的邏輯主要由lock_tables_maybe實(shí)現(xiàn),先看一下lock_tables_maybe源代碼,如下:
lock_tables_maybe 函數(shù)簡化處理流程如下:
1)若備份實(shí)例上已經(jīng)加鎖( LOCK TABLES FOR BACKUP / FLUSH TABLES WITH READ LOCK)或者設(shè)置lock-ddl-per-table 則直接返回;
2)若支持備份鎖,則執(zhí)行LOCK TABLES FOR BACKUP;
3)若不支持備份鎖,則執(zhí)行 FLUSH TABLES WITH READ LOCK。根據(jù)相應(yīng)選項(xiàng)設(shè)置,在執(zhí)行該操作前會判斷是否有執(zhí)行中的DDL/DML,以及等待超時(shí)時(shí)間,是否kill 對應(yīng)的未結(jié)束的事務(wù)等。
從上文中我們還看到一個(gè)參數(shù)--safe-slave-backup ,該參數(shù)的主要作用是:
若是在從庫執(zhí)行的備份操作時(shí)設(shè)置了該參數(shù),可以防止因從庫同步主庫操作,而導(dǎo)致XtraBackup長時(shí)間請求不到鎖而造成備份失敗。
若是設(shè)置了 --safe-slave-backup 為TRUE,那么會執(zhí)行"STOP SLAVE SQL_THREAD",并等待Slave_open_temp_tables 為零才開始拷貝非 ibd 文件,Slave_open_temp_tables 為零說明SQL thread執(zhí)行的事務(wù)都已經(jīng)完成,這樣就能保證備份的一致性。并且此時(shí)也不會有在執(zhí)行的事務(wù)阻塞 XtraBackup 施加全局鎖。
備份完非 ibd 文件后,將會備份 slave 和 binlog 信息。
mysql-bin.000004 2004 6b7bda9f-15f0-11ec-ba14-fa163ea367a4:1-83,9841546e-15f0-11ec-9557-fa163e736db4:1
需要注意,在支持備份鎖的實(shí)例上備份,指定了 --slave-info 或--binlog-info 均會先施加 binlog 備份鎖( LOCK BINLOG FOR BACKUP),這會阻塞任何會更改 binlog 位點(diǎn)的操作。
備份完數(shù)據(jù)庫的所有文件和binlog等相關(guān)信息,備份工作就基本完成了,之后主要執(zhí)行的操作如下:
1)執(zhí)行"FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS",將所有的redo log刷盤;
2)停止redo log復(fù)制線程;
3)釋放全局讀鎖(備份鎖),binlog鎖;
4)開啟SQL_THREAD;
5)拷貝ib_buffer_pool和ib_lru_dump文件;
6)生成配置文件backup-my.cnf;
7)打印備份信息到xtrabackup_info文件,這些信息主要包含備份時(shí)使用的參數(shù)信息,備份起止時(shí)間,binlog位點(diǎn)信息,以及將會回到的lsn點(diǎn)。
下面是xtrabackup_info記錄的部分內(nèi)容:
加鎖對應(yīng)的函數(shù)是 mdl_lock_tables ,釋放鎖對應(yīng)的函數(shù)是 mdl_unlock_all,主要是執(zhí)行COMMIT,結(jié)束 mdl_lock_tables 中開啟的顯式事務(wù),來釋放MDL鎖。mdl_lock_tables 流程如下:
上面參數(shù)--lock-ddl和--lock-ddl-per-table是在 Percona XtraBackup 2.4.8 之后添加的,因?yàn)?MySQL 5.7 新增了一個(gè)叫做 Sorted Index Builds 的功能,這會導(dǎo)致某些 DDL 操作不記錄重做日志而導(dǎo)致備份失敗。使用--lock-ddl或--lock-ddl-per-table 就會在備份開始時(shí)施加鎖,阻止 DDL 操作。
另外,若備份時(shí)指定了--lock-ddl或--lock-ddl-per-table,則在備份非 ibd 文件時(shí)就不是再有加鎖操作。
注意:LOCK TABLES FOR BACKUP和LOCK BINLOG FOR BACKUP 語句只有在支持備份鎖的實(shí)例上才會執(zhí)行,Percona Server for MySQL已經(jīng)在 5.6.16-64.0 版本開始支持這種更加輕量的備份鎖。
Q1: 使用 XtraBackup 備份的文件進(jìn)行恢復(fù)時(shí),恢復(fù)到哪個(gè)時(shí)間點(diǎn)? A1:恢復(fù)到執(zhí)行 LOCK BINLOG FOR BACKUP 或 FLUSH TABLES WITH READ LOCK 的時(shí)間點(diǎn),因?yàn)檫@時(shí)任何改變 binlog 位點(diǎn)的操作都會被阻塞,redo log和binlog 是一致的。
Q2: 在開啟 binlog 的情況下,MySQL 的奔潰恢復(fù)是同時(shí)依賴 binlog 和 redo log 這兩種日志的,為什么XtraBackup 不用備份binlog?
A2:因?yàn)樵趥浞葜杏袌?zhí)行LOCK BINLOG FOR BACKUP/FLUSH TABLES WITH READ LOCK,阻止了任何改變binlog位點(diǎn)的操作,這樣只需要根據(jù)redo log將有commit log 的事務(wù)提交,沒有commit log的事務(wù)進(jìn)行回滾即可。
Q3: 使用Percona XtraBackup備份完成后redo的位點(diǎn)是和binlog是一樣還是比binlog多一些?
A3:通過分析備份流程可以發(fā)現(xiàn)備份 binlog 位點(diǎn)信息(加binlog鎖)是發(fā)生在停止 redo 拷貝線程前,而釋放鎖是在停止 redo 拷貝線之后,所以 redo log 會多一些。鎖住了 binlog 保證了在該 binlog 位點(diǎn)前已經(jīng)提交的事務(wù)的 redo log 都有 commit log 的信息,未提交的事物也就沒有對應(yīng)的 commit log 的信息,即便在鎖住 binlog 后有 Innodb 表新的 DML 產(chǎn)生的 redo log ,但是事務(wù)無法提交,也就沒有 commit log 的信息的,最后在回放的過程中對沒有 commit log 的事務(wù)進(jìn)行回滾就可以了。
Q4:Percona XtraBackup什么時(shí)候會加鎖,以及影響加鎖時(shí)間長度的因素有哪些?
A4:上面進(jìn)行了分析,加鎖操作只在備份非 ibd 文件時(shí)執(zhí)行,加鎖時(shí)長主要和非事務(wù)表的數(shù)量和大小有關(guān),非事務(wù)表的數(shù)量越多,體積越大,拷貝文件所用的時(shí)間越長,那么加鎖時(shí)間也就越長。也會和 redo log 生成的速度有關(guān),只是 redo log 刷盤受到多個(gè)因素的影響,未及時(shí)刷盤的 redo log 一般很小。
Q5:Percona XtraBackup 和mysqldump選擇哪個(gè)更好?
A5:通過上面的的解析,若是整個(gè)實(shí)例備份,首先選擇 Percona XtraBackup ,因?yàn)閷?shù)據(jù)庫的影響最小。若只是備份某個(gè)庫表,這個(gè)就要視數(shù)據(jù)量而定,若數(shù)據(jù)量不大可以使用 mysqldump 。注意,對數(shù)據(jù)庫做備份時(shí)最好選擇業(yè)務(wù)連接最少的從庫,因?yàn)閭浞菀矔囊欢ǖ馁Y源,避免影響業(yè)務(wù)。
本文題目:怎么熱備mysql數(shù)據(jù)庫 數(shù)據(jù)庫 熱備
鏈接分享:http://www.rwnh.cn/article30/doohjso.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)建站、靜態(tài)網(wǎng)站、手機(jī)網(wǎng)站建設(shè)、營銷型網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)公司、動態(tài)網(wǎng)站
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)