117笔记问答在CentOS上搭建Hadoop分布式文件系统（HDFS）是一个相对复杂的过程，需要多个步骤。以下是一个基本的搭建步骤指南，假设你需要搭建一个包含多个节点的HDFS集群。
1. 环境准备
1.1 安装Java环境
HDFS需要Java运行环境，通常是JDK 8。
yum install -y java-1.8.0-openjdk-devel
1.2 配置主机名和静态IP
在每个节点上修改主机名，并配置静态IP地址。
# 修改主机名 hostnamectl set-hostname node1 # 配置静态IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 # 添加或修改以下内容 BOOTPROTO=static IPADDR=192.168.1.101 NETMASK=255.255.255.0 GATEWAY=192.168.1.1 ONBOOT=yes
1.3 配置SSH免密登录
在每个节点上生成SSH密钥，并将公钥复制到其他节点。
ssh-keygen -t rsa ssh-copy-id node2 ssh-copy-id node3
2. 安装Hadoop
2.1 下载Hadoop
从Apache Hadoop官网下载所需版本的Hadoop安装包。
wget http://archive.apache.org/dist/hadoop/core/hadoop-3.2.10/hadoop-3.2.10.tar.gz
2.2 解压Hadoop
将下载的Hadoop安装包解压到指定目录。
tar -zxvf hadoop-3.2.10.tar.gz -C /opt/hadoop
2.3 配置环境变量
编辑/etc/profile文件，添加Hadoop环境变量。
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.10 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置生效。
source /etc/profile
3. 配置Hadoop
3.1 配置core-site.xml
在$HADOOP_HOME/etc/hadoop/目录下编辑core-site.xml文件。
fs.defaultFS hdfs://node1:9000
3.2 配置hdfs-site.xml
在$HADOOP_HOME/etc/hadoop/目录下编辑hdfs-site.xml文件。
dfs.replication 2 dfs.namenode.name.dir /opt/hadoop/data/namenode dfs.datanode.data.dir /opt/hadoop/data/datanode
3.3 配置mapred-site.xml和yarn-site.xml
在$HADOOP_HOME/etc/hadoop/目录下编辑mapred-site.xml和yarn-site.xml文件。
4. 格式化NameNode
在NameNode节点上执行以下命令格式化文件系统。
hdfs namenode -format
5. 启动Hadoop集群
在NameNode节点上启动HDFS。
start-dfs.sh
6. 验证Hadoop集群
使用以下命令验证Hadoop集群是否正常运行。
jps
7. 访问HDFS Web界面
打开浏览器，访问http://node1:50070，查看HDFS管理界面。
以上步骤是一个基本的HDFS搭建流程，具体配置可能会因版本和环境的不同而有所差异。建议参考官方文档进行详细配置。