Debian环境下Hadoop高可用性配置

在Debian环境下配置Hadoop高可用性涉及多个步骤，包括设置ZooKeeper集群、配置HDFS和YARN的高可用性、以及启动和验证集群状态。以下是一个详细的配置指南：

1. 环境准备

• 安装Debian操作系统：首先，确保所有节点上安装了Debian操作系统。
• 配置网络：确保所有节点在同一个网络中，并且可以相互通信。

2. 安装Hadoop

在所有节点上安装Hadoop。可以使用以下命令：

wget http://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/src

3. 配置ZooKeeper集群

• 创建ZooKeeper目录：

mkdir -p /usr/local/src/zookeeper/data
mkdir -p /usr/local/src/zookeeper/log

• 配置ZooKeeper：

编辑/usr/local/src/zookeeper/conf/zoo.cfg文件，添加以下内容：

dataDir=/usr/local/src/zookeeper/data
clientPort=2181
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

在每个ZooKeeper节点上启动ZooKeeper服务：

/usr/local/src/zookeeper/bin/zkServer.sh start

4. 配置HDFS高可用性

• 修改core-site.xml：

    
        fs.defaultFS
        hdfs://mycluster
    
    
        dfs.ha.namenodes.mycluster
        nn1,nn2
    
    
        dfs.namenode.rpc-address.mycluster.nn1
        nn1:8020
    
    
        dfs.namenode.rpc-address.mycluster.nn2
        nn2:8020
    
    
        dfs.namenode.http-address.mycluster.nn1
        nn1:50070
    
    
        dfs.namenode.http-address.mycluster.nn2
        nn2:50070
    
    
        dfs.namenode.shared.edits.dir
        qjournal://zoo1:8485;zoo2:8485;zoo3:8485/mycluster
    
    
        dfs.client.failover.proxy.provider.mycluster
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
    
        dfs.ha.fencing.methods
        sshfence
    
    
        dfs.ha.fencing.ssh.private-key-files
        /root/.ssh/id_rsa
    
    
        dfs.ha.automatic-failover.enabled
        true
    

• 修改hdfs-site.xml：

    
        dfs.replication
        3
    
    
        dfs.nameservices
        mycluster
    
    
        dfs.ha.namenodes.mycluster
        nn1,nn2
    
    
        dfs.namenode.rpc-address.mycluster.nn1
        nn1:8020
    
    
        dfs.namenode.rpc-address.mycluster.nn2
        nn2:8020
    
    
        dfs.namenode.http-address.mycluster.nn1
        nn1:50070
    
    
        dfs.namenode.http-address.mycluster.nn2
        nn2:50070
    
    
        dfs.namenode.shared.edits.dir
        qjournal://zoo1:8485;zoo2:8485;zoo3:8485/mycluster
    
    
        dfs.client.failover.proxy.provider.mycluster
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    

5. 启动Hadoop集群

• 格式化NameNode：

hdfs namenode -format

• 启动JournalNode：

hadoop-daemons.sh start journalnode

• 启动HDFS：

start-dfs.sh

• 启动YARN：

start-yarn.sh

6. 验证集群状态

使用以下命令检查HDFS和YARN的状态：

hdfs dfsadmin -report
yarn node -list

7. 配置自动故障转移

确保hdfs-site.xml中的以下配置已启用：

    dfs.ha.automatic-failover.enabled
    true

通过以上步骤，您可以在Debian环境下配置一个高可用的Hadoop集群。请根据实际需求调整配置细节。