ZNS SSD与键值存储
ZNS SSD与键值存储[TOC] 调研笔记参考文献 RocksDB: Evolution of Development Priorities in a Key-value Store Serving Large-scale Applications(TOS 2021) Understanding NVMe Zoned Namespace (ZNS) Flash SSD Storage Devi
读写之间
RocksDB的Compaction/Flush分析
RocksDB关键流程Flush流程后台Flush作业 调度Flush作业流程与compaction类似: DBImpl::BGWorkFlush–>DBImpl::BackgroundCallFlush–>DBImpl::BackgroundFlush–>DBImpl::FlushMemTablesToOutputFiles–>DBImpl::FlushMemTableT
NVMeVirt模拟ZNS SSD
NVMeVirt模拟ZNS搭建步骤服务器上ZenFS的依赖已经完备，直接开装 1 ZenFS和RocksDB安装使用最新版本的RocksDB和ZenFS时，安装报错(如issue#288所示)，原因是新版本的RocksDB更换了API而ZenFS未适配，使用RocksDB 8.11.3可以解决，直接按照README即可 12345git clone https://github.com/faceb
常见的分布式存储系统(HDFS、Ceph、Swift、HBase)
常见的分布式存储系统(HDFS、Ceph、Swift、HBase)在实习中接触到了很多分布式存储相关产品, 这一块知识不够系统, 跟着相关文档和论文梳理一下 分布式存储常见架构 中心控制节点架构 HDFS是典型代表(我认为SMH也是类似架构, 有一个元数据管理中心) NameNode用于存放管理的元数据, DataNode用于存放实际数据 NN中记录了文件/数据在哪个DN上, NN一
RocksDB事务机制
RocksDB事务机制官方文档 RocksDB使用TransactionDB/OptimisticTransactionDB支持事务功能, 提供了BEGIN/COMMIT/ROLLBACK API TransactionDB: 基于悲观的并发机制, 所有写入的key都会被内部锁定以执行冲突检测, 如果无法锁定则返回错误, 只要DB可以写入则保证写入成功, 有以下三种
RocksDB的Compaction Picker分析
RocksDB Compaction Picker分析相关头文件: compaction_picker.h, compaction_picker_level.h, version_set.h 抽象类CompactionPicker 触发条件: 当NeedCompaction()返回true时调用PickCompaction()找到哪里需要合并, 并往哪一层合并 class CompactionPi
Perf系统调优
Perf与火焰图 FlameGraph–将采样信息转为火焰图 Perf介绍与使用: 通过perf list可查看所以支持性能事件 全局性概况： perf list查看当前系统支持的性能事件；perf bench对系统性能进行摸底；perf test对系统进行健全性测试；perf stat对全局性能进行统计； 全局细节： perf top可以实时查看当前系统进程函数占用率情况；perf pr
频删场景下键值存储的性能优化
RocksDB Delete Heavy OptimizationRocksDB及其上层应用RocksDB – Single Delete Single Delete会当删除墓碑与对应值在合并操作对齐时同时删除, 减少中间层删除墓碑残留 然而该机制仅适用于删除键只被写入一次且无后续更新的特定场景, 需要用户明确键的写入序列及其生命周期, 并通过编码保证安全, 如果键被多次写入后调用Single D
