漫谈postgresql的日志实现机制(2)

 

4、lsn的由来和作用

   既然已经有了日志，就要发挥它的作用，在恢复过程中，通过读取日志来重做操作，按什么顺序来重做日志呢？记录历史操作的顺序，是非常重要的，如果操作顺序发现混乱，导致的后果也是非常严重的。比如对一个数值100先减去100，再翻倍，若是发生操作顺序逆转，先翻倍再减去100，得到的结果就大相径庭了。这里就需要一个规则，给日志编个序号，我们按日志产生的顺序给每条日志编号，然后按日志编号来重做日志，就不会发生日志重做发生混乱的情况。在实现的过程中，我们在记录日志的时候，是按日志产生的顺序依次写入磁盘的，即使是写到日志缓冲区中，也是按产生的顺序依次写到日志缓冲区，再将日志缓冲区顺序写到磁盘中。因此我们可以采用日志在日志文件中的偏移来代替这个日志编号，不仅不需要额外的磁盘开销，而且还能通过这个偏移迅速定位到这个日志，真是个神奇的想法，我们给这样的日志编号起了一个特殊的名字：lsn，这就是lsn的由来。

    但我们又发现一个新的问题，虽然我们知道了所有的历史操作和它们之间的顺序关系，但不知道这些操作的影响是否已经保存到磁盘，如果简单的重做所有操作，会不会把已经做过的操作重复进行。比如购物转账转了两次钱出去？所以在每个数据块的块头记录下最后一次修改这个数据块的操作的日志编号lsn，当重做日志时，数据块加载到缓冲区中，称之为页面，若页面的header中lsn比当前重做日志的lsn小，则说明当前日志尚未被重做； 若不比当前重做日志的lsn小，即大于或等于当前重做日志的lsn，则说明当前日志已经被重做，或不需要重做；通过这种方法，可以避免日志被重复重做，从而得到正确的恢复结果。  www.2cto.com  

 

5、利用checkpoint加速恢复的过程

   当系统发生故障后，由于有日志的存在我们不用担心数据丢失，可以通过读取日志来恢复，但若是系统已经运行了很长时间，操作很多，日志很大的情况下，在进行日志恢复时恢复进程会十分慢长。在生产环境下，要求恢复的时间越短越好，怎么才能缩短恢复的时间呢？checkpoint就是解决这个问题的办法。在日志中，引入一种特殊的日志类型，checkpoint日志，它表示在此之前的所有“脏数据”已经写入到磁盘，那么在它之前的日志在恢复过程中就可以忽略掉，而不用再处理。虽然我们希望checkpoint是一个瞬时的过程，但在实现上却有很大的难度，我们不能瞬时将所有“脏数据”写入磁盘，如果可以做到，也就不需要日志了。

因此checkpoint是一个过程，有它的起始和结束，当checkpoint开始时，我们记录当前日志的记录偏移lsn，并标记所有的“脏数据”为准备写入状态，接下来就是将具有准备写入状态的”脏数据”写入磁盘，注意：在写入的同时其它进程或线程有可能会产生新的“脏数据”，这些新产生的“脏数据”我们并不关心其是否写入磁盘。当所有已标记的“脏数据”写入磁盘之后，在日志中插入一条checkpoint日志，表示checkpoint已经完成，同时它还记录着checkpoint开始时的日志偏移，也称为REDO偏移。当进行恢复时，首先找到最后一次checkpoint日志的位置，读出checkpoint日志记录，从中获得REDO偏移，然后从REDO偏移开始恢复即可。通过调整checkpoint的间隔时间，可以得到一个可接受的故障恢复时间。

 

 

作者 xabc3000