117笔记问答在CentOS上实现HDFS高可用性主要涉及配置NameNode的主备模式、使用ZooKeeper进行故障转移协调以及引入JournalNode来保证数据一致性。以下是详细的步骤和配置说明：
1. 配置NameNode的主备模式
- 准备两个NameNode节点：一个处于Active状态，另一个处于StandBy状态。
- 使用ZooKeeper进行故障转移：配置ZKFC（ZooKeeper Failover Controller）进程，监控NameNode的状态。当Active NameNode出现问题时，ZKFC会通知StandBy NameNode接管。
- 数据同步机制：Active NameNode将数据同步到JournalNode，StandBy NameNode从JournalNode获取数据以保持同步。
2. 配置ZooKeeper
- 下载并解压ZooKeeper：配置
zoo.cfg文件，设置dataDir目录。 - 创建myid文件：在每个ZooKeeper节点上创建
myid文件，数值为节点编号。 - 启动ZooKeeper服务：在每台节点上启动ZooKeeper服务。
3. 配置Hadoop
- 修改
hdfs-site.xml：- 设置
dfs.nameservices为集群名称。 - 配置
dfs.ha.namenodes指定NameNode的名称。 - 设置
dfs.namenode.rpc-address和dfs.namenode.http-address指定NameNode的RPC和HTTP地址。 - 配置
dfs.namenode.shared.edits.dir指向JournalNode的编辑日志路径。 - 设置
dfs.client.failover.proxy.provider为org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider。
- 设置
- 修改
core-site.xml：- 设置
fs.defaultFS指向HDFS集群的默认路径。
- 设置
4. 配置JournalNode
- 创建JournalNode目录：在每台节点上创建JournalNode的存储目录。
- 启动JournalNode服务：在每台节点上启动JournalNode服务。
5. 验证配置
- 格式化NameNode：在Active NameNode上执行
hdfs namenode -format进行格式化。 - 启动NameNode：分别启动Active和StandBy NameNode。
- 检查状态：通过浏览器访问NameNode的Web界面，确认集群状态是否正常。
注意事项
- 数据一致性：确保JournalNode节点数量为奇数，以避免脑裂问题。
- 监控和维护：定期检查集群状态，及时处理节点故障。
通过以上步骤，可以在CentOS上搭建一个高可用的HDFS集群，确保在节点故障时能够快速切换，保证数据的高可用性和一致性。