Kafka高可用实现原理

数据存储格式

Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。一个Topic可以分成多个Partition，而一个Partition物理上由多个Segment组成。

Segment分2部分：索引文件和数据文件。索引文件保存元数据，记录了消息在数据文件中的偏移（offset），消息有固定物理结构，保证了正确的读取长度。

Segment文件带来好处：方便过期文件清理。只需要整体删除过期的Segment。以追加的方式写消息，顺序写磁盘极大提高了效率。

读取某offset消息的步骤变为：通过二分查找，找到offset所在Segment。通过Segment的索引文件，找到offset所在数据文件的物理偏移。读取数据。

副本复制与同步

从外部来看Partition类似一个不断增长，存储消息的数组，每个Partition有一个类似MySQL binlog的文件用来记录数据的写入。有两个新名词，HW（HighWatermark）表示当前Consumer可以看到Partition的offset位置，LEO（LogEndOffset）表示当前Partition最新消息的offset，各个副本单独维护。为了提高消息可靠性，Partition有N个副本。

N个副本中，有一个Leader，余下N-1个Follower。Kafka的写操作只在Leader副本上进行。通常这种副本写有两种方式：