MySQL三大日志——binlog、redoLog、undoLog详解_mysql中binlog,redolog,undolog-程序员宅基地

技术标签: redolog  undolog  mysql  SQL--知识及原理  binlog  


日志是mysql数据库的重要组成部分,记录着数据库运行期间各种状态信息,能帮助我们进行很多容错及分析工作,其中有三大日志与我们这些开发者息息相关,本文将介绍binlog、redoLog、undoLog三种日志:

1. redoLog

1.1 为什么需要redo log

我们都知道,事务的四大特性里面有一个是持久性,具体来说就是只要事务提交成功,那么对数据库做的修改就被永久保存下来了,不可能因为任何原因再回到原来的状态。

事务在运行过程中,都是在内存的Buffer Pool修改页面,事务提交后,这些被修改后的脏页并不会立刻刷盘(立刻刷盘开销太大,一方面是一个页面可能就修改了一点点,将整个页面刷盘不值当,另一方面是一个事务会涉及不同的页面,如果将这些页面都刷盘会产生很多的随机IO)。
但如果不采取其他措施,那么在事务提交后MySQL发生故障,导致内存中数据丢失,那么这个已提交事务作出的更改也会丢失,那么mysql是如何保证内存和磁盘的一致性的呢?最简单的做法是在每次事务提交的时候,将该事务涉及修改的数据页全部刷新到磁盘中。但是这么做会有严重的性能问题,主要体现在两个方面:
1)、 因为Innodb是以页为单位进行磁盘交互的,而一个事务很可能只修改一个数据页里面的几个字节,这个时候将完整的数据页刷到磁盘的话,太浪费资源了!
2)、 一个事务可能涉及修改多个数据页,并且这些数据页在物理上并不连续,使用随机IO写入性能太差!

所以这里就需要引入redo日志,对任意页面进行修改的操作都会生成redo日志,在事务提交时,只要保证生成的redo日志成功落盘即可,这样,即使MySQL发生故障导致内存中的数据丢失,也可以根据已落盘的redo日志恢复数据

1.2 redo log基本概念

redo log是InnoDB存储引擎层的日志,又称重做日志文件,用于记录事务操作的变化,记录的是数据修改之后的值,不管事务是否提交都会记录下来。一个事务生成的redo日志是按顺序写入磁盘的,是顺序IO,在实例和介质失败(media failure)时,redo log文件就能派上用场,如数据库掉电,InnoDB存储引擎会使用redo log恢复到掉电前的时刻,以此来保证数据的完整性。

redo log包括两部分:一个是内存中的日志缓冲(redo log buffer),另一个是磁盘上的日志文件(redo log file)。mysql每执行一条DML语句,先将记录写入redo log buffer,后续某个时间点再一次性将多个操作记录写到redo log file。这种先写日志,再写磁盘的技术就是MySQL里经常说到的WAL(Write-Ahead Logging) 技术。

1.3 redo log记录形式

redo log日志的大小是固定的,即记录满了以后就从头循环写。
redolog记录方式:

简单的redo日志——记录哪个表空间中的哪个页面从哪个位置开始的多少个节点要修改成什么

复杂的redo日志——记录了对哪个表空间的哪个页面进行修改,存储了对该页面进行修改操作的一些必备要素,重启时,MySQL会根据redo日志的类型,将redo日志中的必备要素作为参数,调用日志类型对应的函数,恢复数据

在计算机操作系统中,用户空间(user space)下的缓冲区数据一般情况下是无法直接写入磁盘的,中间必须经过操作系统内核空间(kernel space)缓冲区(OS Buffer)。因此,redo log buffer写入redo log file实际上是先写入OS Buffer,然后再通过系统调用fsync()将其刷到redo log file中,过程如下:
在这里插入图片描述
mysql支持三种将redo log buffer写入redo log file的时机,可以通过innodb_flush_log_at_trx_commit参数配置,各参数值含义如下:
在这里插入图片描述
redo log实际上记录数据页的变更,而这种变更记录是没必要全部保存,因此redo log实现上采用了大小固定,循环写入的方式,当写到结尾时,会回到开头循环写日志。
在这里插入图片描述
总结:确保事务的持久性。防止在发生故障的时间点,尚有脏页未写入磁盘,在重启mysql服务的时候,根据redo log进行重做,从而达到事务的持久性这一特性。
还想继续深入的同学可以看看这篇文章
无比详细的redolog讲解

2. binlog

2.1 binlog基本概念

binlog是属于MySQL Server层面的,又称为归档日志,属于逻辑日志,是以二进制的形式记录的,用于记录数据库执行的写入性操作(不包括查询)信息,依靠binlog是没有crash-safe能力的

啥是逻辑日志啥是物理日志:
逻辑日志:可以简单理解为记录的就是sql语句
物理日志:因为mysql数据最终是保存在数据页中的,物理日志记录的就是数据页变更

另外,binlog是通过追加的方式进行写入的,可以通过max_binlog_size参数设置每个binlog文件的大小,当文件大小达到给定值之后,会生成新的文件来保存日志。

2.2 binlog使用场景

在实际应用中,binlog的主要使用场景有两个,分别是主从复制和数据恢复。
1)、主从复制:在Master端开启binlog,然后将binlog发送到各个Slave端,Slave端重放binlog从而达到主从数据一致。
2)、 数据恢复:通过使用mysqlbinlog工具来恢复数据。

2.3 binlog日志格式

binlog日志有三种格式,分别为STATMENT、ROW和MIXED。

在 MySQL 5.7.7之前,默认的格式是STATEMENT,MySQL 5.7.7之后,默认值是ROW。日志格式通过binlog-format指定。

STATMENT 基于SQL语句的复制(statement-based replication, SBR),每一条会修改数据的sql语句会记录到binlog中。 优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO, 从而提高了性能; 缺点:在某些情况下会导致主从数据不一致,比如执行sysdate()、slepp()等。
ROW 基于行的复制(row-based replication, RBR),不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了。 优点:不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题; 缺点:会产生大量的日志,尤其是alter table的时候会让日志暴涨
MIXED 基于STATMENT和ROW两种模式的混合复制(mixed-based replication, MBR),一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog

3. redolog和binlog区别

redo log是属于innoDB层面,binlog属于MySQL Server层面的,这样在数据库用别的存储引擎时可以达到一致性的要求。
redo log是物理日志,记录该数据页更新的内容;binlog是逻辑日志,记录的是这个更新语句的原始逻辑
redo log是循环写,日志空间大小固定;binlog是追加写,是指一份写到一定大小的时候会更换下一个文件,不会覆盖。
binlog可以作为恢复数据使用,主从复制搭建,redo log作为异常宕机或者介质故障后的数据恢复使用。

redo log是InnoDB存储引擎层的日志,binlog是MySQL Server层记录的日志, 两者都是记录了某些操作的日志(不是所有)自然有些重复(但两者记录的格式不同)。

4. undo log

数据库事务四大特性中有一个是原子性,具体来说就是 原子性是指对数据库的一系列操作,要么全部成功,要么全部失败,不可能出现部分成功的情况。

实际上,原子性底层就是通过undo log实现的。

undo log主要记录了数据的逻辑变化,比如一条INSERT语句,对应一条DELETE的undo log,对于每个UPDATE语句,对应一条相反的UPDATE的undo log,这样在发生错误时,就能回滚到事务之前的数据状态。

undo log保存了事务发生之前的数据的一个版本,可以用于回滚,同时可以提供多版本并发控制下的读(MVCC),也即非锁定读

在这里插入图片描述

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_44688973/article/details/125460075

智能推荐

udev轻松上路(转)_udev 100.tar.bz2-程序员宅基地

文章浏览阅读2.3k次。原贴:http://blog.chinaunix.net/u/17928/showart_343417.html udev轻松上路(转) _udev 100.tar.bz2

非线性规划_nonlinear programming: analysis and methods-程序员宅基地

文章浏览阅读2.1k次。  nonlinear programming  具有非线性约束条件或目标函数的数学规划,是运筹学的一个重要分支。非线性规划研究一个 n元实函数在一组等式或不等式的约束条件下的极值问题,且目标函数和约束条件至少有一个是未知量的非线性函数。目标函数和约束条件都是线性函数的情形则属于线性规划。  简史 非线性规划是20世纪50年代才开始形成的一门新兴学科。1951年H.W.库恩和A.W.塔克发_nonlinear programming: analysis and methods

Raid常见命令-程序员宅基地

文章浏览阅读2.3k次。软件raid:查看raid级别,状态等信息 #cat /proc/mdstat 硬件raid:查看raid的厂商,型号,级别 #dmesg | grep -i raid #cat /proc/scsi/scsi 硬件raid最佳的办法是通过已安装的raid厂商的管理工具来查看,..._raid命令

Echarts开发笔记-程序员宅基地

文章浏览阅读75次。图表重新刷新 myChart.setOption(option) echarts生成的图表大小怎么随屏幕的大小改变自适应 在setoption之后添加这段代码:window.onresize = myChart.resize;多个需要这么写window.onresize = func..._echarts添加电子围栏

去除二值化图像横向离散点_c# 栅格去除离散点-程序员宅基地

文章浏览阅读3.8k次。 //去横向离散: int n = 50; //横向离散点连续数,小于的,就去除; for (int i = 0; i { for( int j = 0 ; j { for( int nTemp = 0 ; nTemp { if ( gradient[i*linebyte+j + nTemp] != 0) { if ( ( j + n_c# 栅格去除离散点

windows下OpenCV库安装_windows的opencv库没有mappergradproj-程序员宅基地

文章浏览阅读833次。 由于大量的学习笔记在windows下,一直切ubuntu不是很舒服,所以想着在windows下安装OpenCV库来进行日常的练习。由于在ubuntu上一直使用Clion,在windows下我也选择Clion而不是vs。准备工作 本此安装的OpenCV版本为3.4.5包括contribe库。需要下载的安装包及步骤见这个博客:MinGW-w64编译OpenCV-3.4.5但其中有一些步骤需要调整。源文件修改 由于种种因素,在使用cmake编译时,可能会有很多的文件下载不来。因此建议更换下载地址,将_windows的opencv库没有mappergradproj

随便推点

vba excel编程三日谈(1)_vba可以用spring嘛-程序员宅基地

文章浏览阅读4w次,点赞17次,收藏90次。最近由于要修改一个excel report,见识了vba的强大。 这个report是一个大牛3年前写的,每天只需打开该文件, 就会自动连接oracle的dev和uat数据库读取最新的市场数据, 生成6个透视图,并比较dev和uat的数据的异同。vba操作数据之方便,生成的report之复杂,深深的吸引了我, 于是乎觉得不学点vba真的对不起老本行。花了3天时间学习, 目前觉得基本可以满足大多数需求,即便是有不懂的地方, 也知道在哪里查资料,该怎么查资料。为了防止自己很快忘记, 于是有了vba excel编程_vba可以用spring嘛

jsp及Servlet经典面试题以及答案_servlet、jsp简答题-程序员宅基地

文章浏览阅读4.2w次,点赞10次,收藏72次。1、jsp有哪些内置对象作用分别是什么答:JSP共有以下9种基本内置组件(可与ASP的6种内部组件相对应): request 用户端请求,此请求会包含来自GET/POST请求的参数 response 网页传回用户端的回应 pageContext 网页的属性是在这里管理 session 与请求有关的会话期 application servlet 正在执_servlet、jsp简答题

windows自带局域网扫描IP_windows ip 扫描-程序员宅基地

文章浏览阅读4.9w次,点赞8次,收藏10次。运行arp -a显示同一个VLAN下的所有IP及其MAC其他VLAN的IP并没有显示_windows ip 扫描

veriwell仿真,内置函数学习-程序员宅基地

文章浏览阅读372次。1.学习内置函数编写方法。 verisys.cc文件内如下内容 s_tfcell verisystfs[] = { /*** Template for an entry: { usertask|userfunction, data, checktf(), sizetf(), ..._dist_uniform

Mac OSX上利用Docker和Netbeans 搭建编译和开发 linux c/c++程序环境-程序员宅基地

文章浏览阅读317次。最近碰到一个问题,想要测试一些 c++的开源组件,但是本身的电脑是 MacBook 但是又不想安装虚拟机 经过几轮的测试和研究基本搞定,记录下来 。 思路是,首先在 Mac OSX上的执行文件规范和 Linux上的执行文件规范是不一样的 所以想要达到的效果是,开发是在mac的漂亮的 ..._macos network extension编译

环境变量的变量名可以随便写么_环境变量的变量名可以乱写吗?-程序员宅基地

文章浏览阅读8.6k次。环境变量的变量名可以随便写在配置path的时候能对应上就可以path里是配置执行文件的路径 一般通过环境变量指向bin例如下图 在export 时把定义的变量名输出..._环境变量的变量名可以乱写吗?

推荐文章

热门文章

相关标签