SSTable之overview-leveldb源码剖析(6) 发表评论 SSTable全称sorted string table,是不可修改且持久化到磁盘的文件,将Immutable Memtable的内存数据flush到磁盘或相邻层的数据compaction机制等生成,可以多线程环境下被安全的访问而无需任何额外的同步措施。阅读全文
文件系统及Env-leveldb源码剖析(5) 发表评论 为方便不同平台移植或定制需求的开发,leveldb定义了平台无关的运行环境、文件系统、多线程等基础接口,封装于Env类中,并提供了默认的符合posix语义的派生类实现(PosixEnv),用户可根据需要选择或定制实现。阅读全文
log日志文件-leveldb源码剖析(4) 发表评论 往leveldb写一个KV对时先写log,再写MemTable,这样完成一次写入,写log是追加顺序写文件,写MemTable是跳表插入写内存,随机写转化成顺序写,只涉及一次磁盘IO及一次内存写,因此leveldb写入速度非常快。先写log也是为防止发生如进程挂掉时,MemTable的数据仍然可以从log进行重建恢复,不会造成数据丢失。阅读全文
MemTable与SkipList-leveldb源码剖析(3) 发表评论 MemTable的底层实现依赖于两大核心组件Arena和SkipList,Arena内存分配器统一管理内存,SkipList用于实际KV存储。Arena前面已做过详细分析,本文从MemTable的读写具体实现,KV的实际存储格式、跳表的相关接口及具体实现、线程安全等一一道来。阅读全文
AtomicPointer解读-leveldb源码剖析(2) 6条回复 AtomicPointer的实现是平台(体系结构)相关,封装了对单个指针变量的读写操作,并分别提供了有无内存屏障的版本,本文仅讨论在Linux x86_64下的实现。阅读全文
Arena内存管理-leveldb源码剖析(1) 发表评论 leveldb实现了定制的Arena内存分配器,并没有直接使用glibc的malloc或者c++标准库的new,Arena主要与MemTable关联使用,实际主要用于SkipList中的Node内存分配,统一MemTable的内存分配需求,减少内存分配的实际系统调用次数(尤其针对小块内存),减少内存分配中的空洞(碎片),但也会造成一定的内存浪费;统一内存释放,不必频繁new/delete;鉴于Arena在leveldb中的使用场景不需考虑线程安全。Arena的实现简单轻量,代码总计百余行,服务于leveldb的定制需求,提高应用性能,并且提供了内存对齐的版本。阅读全文