HDFS中如何进行存储目录的深入分析？

本文共计773个文字，预计阅读时间需要4分钟。

HDFS metadata以树状结构存储整个HDFS上的文件和目录，包括相应的权限、配置和副本因子（replication factor）等信息。本文基于Hadoop 2.6版本，介绍Namenode本地目录的存储结构和Datanode的职责。

一、介绍

HDFS metadata以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子（replication factor）等。本文基于Hadoop2.6版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml中配置的dfs.namenode.name.dir和dfs.datanode.data.dir

二、NameNode

HDFS metadata主要存储两种类型的文件

1、fsimage:记录某一永久性检查点（Checkpoint）时整个HDFS的元信息

2、edits:所有对HDFS的写操作都会记录在此文件中

HDFS会定期（dfs.namenode.checkpoint.period，默认3600秒）的对最近的fsimage和一批新edits文件进行Checkpoint（也可以手工命令方式），Checkpoint发生后会将前一次Checkpoint后的所有edits文件合并到新的fsimage中，HDFS会保存最近两次checkpoint的fsimage。Namenode启动时会把最新的fsimage加载到内存中。