117笔记问答在CentOS下部署HDFS集群是一个相对复杂的过程，需要仔细规划和执行多个步骤。以下是一个基本的指南，帮助你在CentOS系统上搭建一个HDFS集群。
1. 环境准备
1.1 安装JDK
首先，确保所有节点上安装了JDK。你可以从Oracle官网或OpenJDK下载并安装适合的版本。
1.2 配置网络
确保所有节点在同一个网络中，并且可以互相访问。修改每个节点的主机名和IP地址，使其在同一个子网内。
2. 安装Hadoop
2.1 下载Hadoop
从Apache Hadoop官网下载适合的版本并解压到所有节点上。例如，使用Hadoop 3.x版本：
wget https://downloads.apache.org/hadoop/core/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
2.2 配置环境变量
编辑/etc/profile文件，添加Hadoop的环境变量：
export HADOOP_HOME=/opt/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
然后执行source /etc/profile使配置生效。
3. 配置Hadoop
3.1 修改配置文件
在NameNode节点上，编辑/opt/hadoop-3.1.3/etc/hadoop/core-site.xml和/opt/hadoop-3.1.3/etc/hadoop/hdfs-site.xml文件，添加如下配置：
core-site.xml:
fs.defaultFS hdfs://namenode:9000
hdfs-site.xml:
dfs.replication 2 dfs.namenode.name.dir /opt/hadoop-3.1.3/data/namenode dfs.datanode.data.dir /opt/hadoop-3.1.3/data/datanode
3.2 配置SSH免密登录
在所有节点上生成SSH密钥并复制到其他节点，以实现免密登录：
ssh-keygen -t rsa ssh-copy-id hadoop@node2 ssh-copy-id hadoop@node3
4. 启动HDFS集群
4.1 格式化NameNode
在NameNode节点上执行以下命令格式化文件系统：
hdfs namenode -format
4.2 启动HDFS
在NameNode节点上执行以下命令启动HDFS集群：
/opt/hadoop-3.1.3/sbin/start-dfs.sh
4.3 验证集群状态
在所有节点上执行jps命令，确认NameNode和DataNode进程是否正常运行。
5. 高可用性配置（可选）
对于高可用性配置，你需要配置两个NameNode（一个Active，一个Standby），并设置ZooKeeper进行故障转移。具体步骤可以参考Hadoop官方文档或相关教程。
参考资源
希望这个指南能帮助你成功在CentOS上部署HDFS集群。如果有任何问题，请参考官方文档或相关教程。