Hadoop在Linux环境下如何部署

在Linux环境下部署Hadoop的步骤如下：

环境准备

1. 选择Linux发行版：推荐使用Ubuntu 24.2或其他稳定版本。
2. 安装JDK：
   • 下载JDK 1.8.0_361（或其他兼容版本）。
   • 使用APT管理工具安装JDK：

     sudo apt-get update
     sudo apt-get install openjdk-8-jdk
     

   • 验证安装：

     java -version
     

3. 配置SSH免密登录：
   • 生成密钥对：

     ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
     

   • 将公钥添加到authorized_keys文件中：

     cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
     

   • 测试免密登录：

     ssh localhost
     

安装Hadoop

1. 下载Hadoop：
   • 从Hadoop官方网站下载Hadoop 3.3.5版本。
   • 解压到指定目录，例如/opt/hadoop：

     sudo mkdir /opt/hadoop
     wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
     sudo tar -zxvf hadoop-3.3.5.tar.gz -C /opt/hadoop
     

2. 配置环境变量：
   • 编辑~/.bashrc文件，添加以下内容：

     export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
     export HADOOP_HOME=/opt/hadoop
     export PATH=$PATH:$HADOOP_HOME/bin
     

   • 使环境变量生效：

     source ~/.bashrc
     

配置Hadoop

1. 修改Hadoop配置文件：

   • core-site.xml：

     
         
             fs.defaultFS
             hdfs://localhost:9000
         
     
     

   • hdfs-site.xml：

     
         
             dfs.replication
             1
         
         
             dfs.namenode.name.dir
             /opt/hadoop/tmp/dfs/name
         
         
             dfs.datanode.data.dir
             /opt/hadoop/tmp/dfs/data
         
     
     

   • mapred-site.xml（可选，如果需要YARN支持）：

     
         
             mapreduce.framework.name
             yarn
         
     
     

2. 格式化NameNode：

   hdfs namenode -format
   

3. 启动Hadoop集群：

   • 启动HDFS和YARN：

     start-dfs.sh
     start-yarn.sh
     

4. 验证部署：

   • 访问Hadoop Web界面验证是否启动成功：
     • HDFS: http://localhost:50070
     • YARN: http://localhost:8088

请注意，以上步骤是一个基本的Hadoop部署流程，具体配置可能会因不同的需求和环境而有所不同。建议在部署前详细阅读Hadoop官方文档，并根据实际情况进行调整。