首页 笔记 图片 查字 
所属分类:Kafka
浏览:63
内容:

高效读写原因:
分布式存储:kafka是分布式集群,采用分区技术,并行度高。
使用稀疏索引:读数据采用稀疏索引,可以快速读取到需要消费的数据。
顺序写磁盘:磁盘顺序写的效率非常高600m/s,随机写的效率很低100k/s。
零拷贝:Kafka的数据处理有生产者和消费进行,kafka broker不将数据走到应用层,传输效率高。
页缓存Page Cache:kafka高度依赖操作系统的Page Cache功能。写操作只是写入Page Cache,读操作直接从Page Cache中查找,如果没有才读磁盘,提高了读写效率。