117笔记问答在CentOS上配置Hadoop分布式文件系统（HDFS）时，有几个关键点需要注意：
1. 环境准备
- 安装Java环境：HDFS需要Java运行环境，通常是JDK 8。
- 配置SSH免密登录：为了方便节点间的通信，需要配置SSH免密登录。
2. 配置文件设置
- core-site.xml：配置HDFS的默认文件系统和NameNode的地址。
- hdfs-site.xml：配置数据块大小、副本数量、DataNode的数据存储路径等。
- mapred-site.xml和yarn-site.xml：配置MapReduce和YARN的相关参数。
3. 主从节点配置
- 主机名和IP地址：确保每个节点的主机名和IP地址配置正确，并在
/etc/hosts文件中相互映射。 - 配置免密登录：在主节点上生成SSH密钥，并分发到其他节点，以便无密码登录。
4. 安全模式
- 安全模式配置：了解和使用安全模式，可以在维护或升级时保护HDFS元数据。
5. 性能优化
- 调整块大小：根据工作负载调整HDFS块大小，通常选择128MB或256MB。
- 副本数量：平衡数据可靠性和存储成本，适当调整副本数量。
- 使用压缩：对存储的数据进行压缩，减少存储空间需求并提高传输效率。
- 硬件升级：使用高性能硬件，如SSD，提升IO性能。
6. 监控和维护
- 监控集群状态：使用HDFS提供的命令行工具或Web界面监控集群的健康状态和性能。
- 定期维护：定期格式化NameNode、检查数据完整性、添加或移除节点等。
在配置HDFS时，还需要考虑集群的扩展性、容错性和维护性。确保配置符合具体的工作负载和性能要求，以便为应用程序提供一个可靠和高效的数据存储解决方案。