自動(dòng)清理MySQL binlog日志與手動(dòng)刪除的設(shè)置
以下的文章主要講述的是對(duì)自動(dòng)清理MySQL binlog日志與手動(dòng)刪除的實(shí)際解決方案的設(shè)置, 我們大家都知道MySQL數(shù)據(jù)庫(kù)從復(fù)制(replication)采用了RBR 模式之后,binlog 的格式為"ROW",其主要作用是解決很多原先出現(xiàn)的主鍵重復(fù)問(wèn)題。
在一個(gè)繁忙的master db server上,MySQL binlog日志文件增長(zhǎng)速度很快,如果不定時(shí)清除,硬盤(pán)空間很快就會(huì)被充滿。
設(shè)置自動(dòng)清理MySQL binlog日志,配置my.cnf:
expire_logs_days = 10
在運(yùn)行時(shí)修改:
- show binary logs;
- show variables like '%log%';
- set global expire_logs_days = 10;
清除之前可以采用相應(yīng)的備份策略。
手動(dòng)刪除10天前的MySQL binlog日志:
- PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY);
- show master logs;
MASTER和BINARY是同義詞。
一般情況下,推薦使用MIXED binlog的復(fù)制。http://dev.MySQL.com/doc/refman/5.1/en/open-bugs-general.html中的說(shuō)明:Replication uses query-level logging: The master writes the executed queries to the binary logThis is a very fast, compact, and efficient logging method that works perfectly in most cases
附:關(guān)于MySQL復(fù)制的幾種模式
從 MySQL 5.1.12 開(kāi)始,可以用以下三種模式來(lái)實(shí)現(xiàn):
基于SQL語(yǔ)句的復(fù)制(statement-based replication, SBR),
基于行的復(fù)制(row-based replication, RBR),
混合模式復(fù)制(mixed-based replication, MBR)。
相應(yīng)地,binlog的格式也有三種:STATEMENT,ROW,MIXED。 MBR 模式中,SBR 模式是默認(rèn)的。
在運(yùn)行時(shí)可以動(dòng)態(tài)改動(dòng) binlog的格式,除了以下幾種情況:
存儲(chǔ)流程或者觸發(fā)器中間
啟用了NDB
當(dāng)前會(huì)話試用 RBR 模式,并且已打開(kāi)了臨時(shí)表
如果binlog采用了 MIXED 模式,那么在以下幾種情況下會(huì)自動(dòng)將MySQL binlog的模式由 SBR 模式改成 RBR 模式。
當(dāng)DML語(yǔ)句更新一個(gè)NDB表時(shí)
當(dāng)函數(shù)中包含 UUID() 時(shí)
2個(gè)及以上包含 AUTO_INCREMENT 字段的表被更新時(shí)
行任何 INSERT DELAYED 語(yǔ)句時(shí)
用 UDF 時(shí)
視圖中必須要求運(yùn)用 RBR 時(shí),例如建立視圖是運(yùn)用了 UUID() 函數(shù)
設(shè)定主從復(fù)制模式:
- log-bin=MySQL-bin
- #binlog_format="STATEMENT"
- #binlog_format="ROW"
- binlog_format="MIXED"
也可以在運(yùn)行時(shí)動(dòng)態(tài)修改binlog的格式。例如
- MySQL> SET SESSION binlog_format = 'STATEMENT';
- MySQL> SET SESSION binlog_format = 'ROW';
- MySQL> SET SESSION binlog_format = 'MIXED';
- MySQL> SET GLOBAL binlog_format = 'STATEMENT';
- MySQL> SET GLOBAL binlog_format = 'ROW';
- MySQL> SET GLOBAL binlog_format = 'MIXED';
兩種模式各自的優(yōu)缺點(diǎn):
SBR 的優(yōu)點(diǎn):
歷史悠久,技能成熟
binlog文件較小
binlog中包含了所有數(shù)據(jù)庫(kù)修改信息,可以據(jù)此來(lái)審核數(shù)據(jù)庫(kù)的安全等情況
MySQL binlog可以用于實(shí)時(shí)的還原,而不僅僅用于復(fù)制
主從版本可以不一樣,從服務(wù)器版本可以比主服務(wù)器版本高
SBR 的缺點(diǎn):
不是所有的UPDATE語(yǔ)句都能被復(fù)制,尤其是包含不確定操作的時(shí)候。
調(diào)用具有不確定因素的 UDF 時(shí)復(fù)制也可能出疑問(wèn)
運(yùn)用以下函數(shù)的語(yǔ)句也不能被復(fù)制:
LOAD_FILE()
UUID()
USER()
FOUND_ROWS()
SYSDATE() (除非啟動(dòng)時(shí)啟用了 –sysdate-is-now 選項(xiàng))
INSERT … SELECT 會(huì)產(chǎn)生比 RBR 更多的行級(jí)鎖
復(fù)制須要執(zhí)行 全表掃描(WHERE 語(yǔ)句中沒(méi)有運(yùn)用到索引)的 UPDATE 時(shí),須要比 RBR 請(qǐng)求更多的行級(jí)鎖
對(duì)于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 語(yǔ)句會(huì)阻塞其他 INSERT 語(yǔ)句
對(duì)于一些復(fù)雜的語(yǔ)句,在從服務(wù)器上的耗資源情況會(huì)更嚴(yán)重,而 RBR 模式下,只會(huì)對(duì)那個(gè)發(fā)生變化的記錄產(chǎn)生影響
存儲(chǔ)函數(shù)(不是存儲(chǔ)流程 )在被調(diào)用的同時(shí)也會(huì)執(zhí)行一次 NOW() 函數(shù),這個(gè)可以說(shuō)是壞事也可能是好事
確定了的 UDF 也須要在從服務(wù)器上執(zhí)行
數(shù)據(jù)表必須幾乎和主服務(wù)器保持一致才行,否則可能會(huì)導(dǎo)致復(fù)制出錯(cuò)
執(zhí)行復(fù)雜語(yǔ)句如果出錯(cuò)的話,會(huì)消耗更多資源
RBR 的優(yōu)點(diǎn):
任何情況都可以被復(fù)制,這對(duì)復(fù)制來(lái)說(shuō)是最安全可靠的
和其他大多數(shù)數(shù)據(jù)庫(kù)系統(tǒng)的復(fù)制技能一樣
多數(shù)情況下,從服務(wù)器上的表如果有主鍵的話,復(fù)制就會(huì)快了很多
復(fù)制以下幾種語(yǔ)句時(shí)的行鎖更少:
INSERT … SELECT
包含 AUTO_INCREMENT 字段的 INSERT
沒(méi)有附帶條件或者并沒(méi)有修改很多記錄的 UPDATE 或 DELETE 語(yǔ)句
執(zhí)行 INSERT,UPDATE,DELETE 語(yǔ)句時(shí)鎖更少
從服務(wù)器上采用多線程來(lái)執(zhí)行復(fù)制成為可能
RBR 的缺點(diǎn):
binlog 大了很多
復(fù)雜的回滾時(shí) binlog 中會(huì)包含大量的數(shù)據(jù)
主服務(wù)器上執(zhí)行 UPDATE 語(yǔ)句時(shí),所有發(fā)生變化的記錄都會(huì)寫(xiě)到 binlog 中,而 SBR 只會(huì)寫(xiě)一次,這會(huì)導(dǎo)致頻繁發(fā)生 binlog 的并發(fā)寫(xiě)疑問(wèn)
UDF 產(chǎn)生的大 BLOB 值會(huì)導(dǎo)致復(fù)制變慢
不能從 binlog 中看到都復(fù)制了寫(xiě)什么語(yǔ)句(加密過(guò)的)
當(dāng)在非事務(wù)表上執(zhí)行一段堆積的SQL語(yǔ)句時(shí),最好采用 SBR 模式,否則很容易導(dǎo)致主從服務(wù)器的數(shù)據(jù)不一致情況發(fā)生
另外,針對(duì)系統(tǒng)庫(kù) MySQL 里面的表發(fā)生變化時(shí)的處理準(zhǔn)則如下:
如果是采用 INSERT,UPDATE,DELETE 直接操作表的情況,則日志格式根據(jù) MySQL binlog_format 的設(shè)定而記錄
如果是采用 GRANT,REVOKE,SET PASSWORD 等管理語(yǔ)句來(lái)做的話,那么無(wú)論如何 都采用 SBR 模式記錄。
注:采用 RBR 模式后,能處理很多原先出現(xiàn)的主鍵重復(fù)問(wèn)題。實(shí)例:
對(duì)于insert into db_allot_ids select from db_allot_ids 這個(gè)語(yǔ)句:
在BINLOG_FORMAT=STATEMENT 模式下:
BINLOG日志信息為:
- BEGIN
- /*!*/;
- # at 173
- #090612 16:05:42 server id 1 end_log_pos 288 Query thread_id=4 exec_time=0 error_code=0
- SET TIMESTAMP=1244793942/*!*/;
- insert into db_allot_ids select * from db_allot_ids
- /*!*/;
在BINLOG_FORMAT=ROW 模式下:
BINLOG日志信息為:
- BINLOG '
- hA0yShMBAAAAMwAAAOAAAAAAAA8AAAAAAAAAA1NOUwAMZGJfYWxsb3RfaWRzAAIBAwAA
- hA0yShcBAAAANQAAABUBAAAQAA8AAAAAAAEAAv/8AQEAAAD8AQEAAAD8AQEAAAD8AQEAAAA=
- '/*!*/;
以上的相關(guān)內(nèi)容就是對(duì)設(shè)置自動(dòng)清理MySQL binlog日志和手動(dòng)刪除的方法的介紹,望你能有所收獲。
【編輯推薦】