Namenode内部数据结构整理

Mirrorr 2011-04-14

     由于要改进NameNode结构,需要对NameNode内部数据结构进行整理,方便下一步的工作。

    NameNode接收Client、DataNode、SecondNameNode的RPC通信后,解析出需要执行的函数,大部分再转发给FSNameSystem类进行处理。FSNameSystem保存了运行时的一些重要结构,总结起来有如下一些:

1.        BlocksMap  blokcsMap;

    保存了block-àINode,DatanodeDescriptor的映射

BlocksMap是NameNode中重要的数据结构,保存了三元组,在内存中占据了大量的空间,通过BlocksMap可以获得所有块信息。

2.        CorruptReplicasMap  corruptReplicas;

保存了block-àMap<DatanodeDescriptor>的映射。

CorruptReplicasMap保存的是损坏的块以及对应的DatanodeDescriptor集合。

3.        NavigableMap<String,DatanodeDescriptor>datanodeMap;

保存了StorageID-àDatanodeDescriptor的映射。

4.        Map<String,Collection<Block>>recentInvalidateSets;

保存了StorageID-àCollection<Block>的映射,其中Block集合对应的是存疑无效的Block。

5.        Map<String,Collection<Block>>excessReplicateMap;

保存了StorageID-àCollection<Block>的映射,其中Block集合对应了存疑超过设定副本数的Block。

6.        ArrayList<DatanodeDescriptor>  heartbeat;

保存了现在认定存活的结点对应的DatanodeDescriptor,Datanode通过RPC向NameNode定时发送心跳汇报,如果超过一定时间,则认为Datanode已经挂掉。

7.        UnderReplicatedBlocks  needReplications;

保存了List<TreeSet<Block>>需要复制的副本集合,按照优先级生成该副本集合。

8.        PendingReplicationBlockspendingReplications;

保存了正在进行复制的Block集合,同时内部有个线程去检查是否复制超时,如果超时,则放入其内部的复制超时Block集合汇总。

9.        LeaseManager leaseManager;

租约检查。

10.      Host2DataNodesMap  host2NodesMap;

主机名-àDatanodeDesciptor[]的映射。

相关推荐