HDFS NameNode

1.高可用：

多备份 在故障时快速切换 保证状态一致

可行性方案：

主从方式 如：hdfs

分布式协议 paxos/raft协议

2.可扩展性

元数据容量可线性扩展

元数据服务能力可线性扩展

垃圾回收（异步）

在数据被删除的时候

数据写入失败，脏数据留在磁盘上

基于数据版本控制

由于机器宕机

关键点：异步删除 基于版本回收

crc 和 数据全部存入磁盘 定期对磁盘数据进行校验，确认数据没有在磁盘数据中损坏，如果有损坏数据则从其他副本中补齐

不同用户级别的请求放入不同优先队列

io请求

链式写入流程

主从模式

1.读写流程

2.QoS（服务质量）

3.checksum

4.Replication

5.Rebanlance

6.Garbage Collection（GC）

7.Erasure Coding

大规模分布式存储的挑战

1.磁盘错误

2.Raid卡故障

3.网络故障

4.电源故障

5.数据错误 crc校验

 磁盘 网络 内存（ECC错误）

6.系统异常

时钟源 ntp server

memcache

7.热点迅速迁移

8.软件缺陷

9.误操作