117笔记问答在Debian上部署Hadoop的步骤如下：
- 系统初始化：
- 安装网络工具包：
sudo apt install net-tools vim - 关闭防火墙：
sudo ufw disable - 设置主机名称：
hostnamectl set-hostname master - 编辑
/etc/hosts文件，添加所有节点的IP和主机名。
- 安装Java环境：
- 下载并解压JDK安装包至指定目录：
tar -xzf jdk-8u201-linux-x64.tar.gz -c /usr/local/ - 启用Java环境变量：
vi /etc/profile export JAVA_HOME=/usr/local/java export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin source /etc/profile java -version
- Hadoop分布式环境搭建：
- 从Apache官方网站下载Hadoop安装包：
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/hadoop-2.7.6.tar.gz - 解压Hadoop安装包：
tar -xzf hadoop-2.7.6.tar.gz -c /usr/local/ - 进入Hadoop目录：
cd /usr/local/hadoop-2.7.6/
- 配置Hadoop环境变量：
- 编辑
hadoop-env.sh文件，添加JDK路径。 - 编辑
start-dfs.sh和stop-dfs.sh文件，添加HDFS的root执行权限。 - 编辑
start-yarn.sh和stop-yarn.sh文件，添加YARN的root执行权限。
- 配置Hadoop配置文件：
- 配置
core-site.xml文件：
hadoop.tmp.dir /data/hadoop/hdfs/tmp fs.defaultfs hdfs://master:9000
- 配置
hdfs-site.xml文件：
dfs.replication 1 dfs.namenode.name.dir /data/hadoop/hdfs/name dfs.datanode.data.dir /data/hadoop/hdfs/data
- 配置
mapred-site.xml文件：
mapreduce.framework.name yarn
- 格式化HDFS：
- 在NameNode上运行以下命令格式化HDFS：
hdfs namenode -format
- 启动Hadoop服务：
- 在NameNode上启动Hadoop的NameNode和DataNode：
./sbin/start-dfs.sh - 在ResourceManager上启动YARN：
./sbin/start-yarn.sh
- 验证安装：
- 通过Web界面或其他工具验证Hadoop是否正常运行。
请注意，以上步骤是基于Hadoop 2.7.6版本的配置，不同版本的Hadoop在配置上可能会有所不同。建议参考官方文档以获取针对具体版本的详细配置指南。