HDFS入门：架构、组件和最佳实践

约 1449 字大约 18 分钟

Hadoop HDFS 大数据分布式系统

2025-04-07

概述

Hadoop分布式文件系统（HDFS）是Hadoop应用程序使用的主要存储系统。HDFS设计运行在商用硬件上，为应用程序数据提供高吞吐量访问，适合大数据集的应用程序。

注意

HDFS设计为一次写入、多次读取的访问模式，可能不适合低延迟访问要求。

架构概述

主从架构

HDFS遵循主从架构，包含以下组件：

NameNode：管理文件系统命名空间并控制文件访问
DataNode：存储实际数据块并为客户端提供读写请求服务
Client：访问HDFS数据的应用程序

NameNode：维护文件系统树和元数据
DataNodes：在集群中存储数据块
Client：与NameNode和DataNode进行通信

核心组件

NameNode

NameNode是HDFS的核心组件：

元数据管理：存储文件系统命名空间（目录树、文件名、权限等）
块管理：跟踪数据块及其位置
访问控制：管理客户端对文件的访问

提示

在标准HDFS集群中，NameNode是单点故障。考虑为生产环境使用高可用性（HA）配置。

DataNode

DataNode是HDFS的工作节点：

数据存储：存储实际数据块（通常每个128MB或256MB）
心跳机制：定期向NameNode报告
块验证：使用校验和验证数据完整性

Client

客户端组件：

文件操作：发起读写请求
NameNode通信：查询元数据和块位置
DataNode通信：直接与DataNode进行数据传输

数据存储模型

数据块

HDFS将数据存储在大块中：

# 检查当前块大小
hdfs dfsadmin -confKey dfs.blocksize

# 典型块大小：
# - Hadoop 1.x: 64MB
# - Hadoop 2.x: 128MB（默认）
# - Hadoop 3.x: 128MB（默认），最大2GB

复制

HDFS在多个DataNode之间复制数据块：

# 检查复制因子
hdfs dfsadmin -confKey dfs.replication

# 典型复制因子：3

客户端将数据写入第一个DataNode
第一个DataNode将数据转发到后续DataNode
数据以管道方式写入
所有副本必须成功写入

HDFS命令

基本文件操作

# 创建目录
hdfs dfs -mkdir /user/hadoop

# 上传本地文件到HDFS
hdfs dfs -put localfile.txt /user/hadoop/

# 从HDFS下载文件
hdfs dfs -get /user/hadoop/remote.txt local.txt

# 列出文件
hdfs dfs -ls /user/hadoop/

# 删除文件
hdfs dfs -rm /user/hadoop/oldfile.txt

高级操作

# 设置复制因子
hdfs dfs -setrep -R 3 /user/hadoop/

# 检查磁盘使用情况
hdfs dfs -du -h /user/hadoop/

# 检查文件系统状态
hdfs dfsadmin -report

# 进入安全模式（维护模式）
hdfs dfsadmin -safemode enter
hdfs dfsadmin -safemode leave

配置文件

核心配置

编辑 core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/tmp</value>
    </property>
</configuration>

HDFS配置

编辑 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/var/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/var/hadoop/hdfs/datanode</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

性能优化

块大小配置

# 最佳块大小考虑因素：
# - 大文件：使用更大的块（256MB、512MB、1GB）
# - 小文件：使用更小的块（64MB、128MB）
# - 考虑MapReduce分割大小对齐

# 为特定操作设置块大小
hdfs dfs -D dfs.blocksize=268435456 -put largefile.dat /user/hadoop/

内存配置

<!-- 在mapred-site.xml中 -->
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>1536</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>3072</value>
</property>

安全考虑

身份验证

# 启用Kerberos身份验证
hdfs dfs -D hadoop.security.authentication=kerberos -ls /

权限

# 设置文件权限
hdfs dfs -chmod 750 /user/hadoop/protected

# 设置所有权
hdfs dfs -chown hadoop:hadoop /user/hadoop/data

# 查看权限
hdfs dfs -ls -la /user/hadoop/

监控和维护

健康检查

# 检查集群健康状态
hdfs dfsadmin -report

# 检查DataNode状态
hdfs dfsadmin -report -live

# 检查复制不足的块
hdfs fsck /user/hadoop -locations -files -blocks

维护操作

# 回滚NameNode编辑
hdfs dfsadmin -rollEdits

# 刷新DataNode
hdfs dfsadmin -refreshNodes

# 停用DataNode
echo "datanode3.example.com" > decommissioning-nodes.txt
hdfs dfsadmin -refreshNodes

常见问题和解决方案

问题1：NameNode无法启动

# 检查NameNode日志
tail -f /var/hadoop/hdfs/namenode.log

# 检查现有进程
jps | grep NameNode

# 安全模式故障排除
hdfs dfsadmin -safemode get

问题2：DataNode连接问题

# 检查DataNode状态
hdfs dfsadmin -report -dead

# 验证DataNode日志
tail -f /var/hadoop/hdfs/datanode.log

# 重置DataNode
rm -rf /var/hadoop/hdfs/datanode/*
hdfs datanode -format

问题3：磁盘空间问题

# 检查磁盘使用情况
hdfs dfsadmin -report

# 识别大文件
hdfs dfs -du / | sort -nr | head -10

# 清理临时文件
hdfs dfs -expunge

最佳实践

数据管理

使用适当的文件大小：在HDFS中存储大文件（100MB+）
避免小文件：对小文件使用Hadoop SequenceFile、Avro或Parquet
压缩数据：使用压缩来节省存储空间
分区数据：合理组织数据以提高性能

性能调优

# 启用压缩
hadoop jar hadoop-examples.jar teragen -Dmapreduce.map.output.compress=true \
    -Dmapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.GzipCodec \
    1000000 /user/hadoop/output

# 使用适当的文件格式
hadoop jar parquet-tools.jar schema input.parquet