Debian Kafka集群搭建步骤解析

搭建Debian上的Kafka集群涉及多个步骤，包括环境准备、JDK安装、Zookeeper集群搭建、Kafka集群安装和配置等。以下是详细的步骤解析：

环境准备

1. 安装JDK：

   在Debian上安装JDK，可以使用以下命令：

   sudo apt update
   sudo apt install openjdk-8-jdk
   

   安装完成后，使用以下命令验证JDK安装：

   java -version
   

2. 下载并解压Kafka：

   从Apache Kafka官网下载对应版本的Kafka安装包，例如Kafka 3.5.2。使用wget命令下载并解压：

   wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz
   tar -xzf kafka_2.12-3.5.2.tgz
   

Zookeeper集群搭建

1. 下载并解压Zookeeper：

   wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.1.tar.gz
   tar -xzf zookeeper-3.6.1.tar.gz
   

2. 修改Zookeeper配置文件：

   进入Zookeeper的配置文件目录，复制zoo_sample.cfg为zoo.cfg，并修改以下配置：

   dataDir=/opt/zookeeper/data
   dataLogDir=/opt/zookeeper/log
   clientPort=2181
   server.1=zookeeper1:2888:3888
   server.2=zookeeper2:2888:3888
   server.3=zookeeper3:2888:3888
   

3. 启动Zookeeper集群：

   nohup ./bin/zookeeper-server-start.sh ../config/zoo.cfg >/dev/null 2>&1 &
   

Kafka集群安装和配置

1. 修改Kafka配置文件：

   在每台Kafka服务器上，编辑config/server.properties文件，确保以下配置正确：

   broker.id=1  # 每台机器的broker ID需唯一
   listeners=PLAINTEXT://your_server_ip:9093
   log.dir=/usr/local/data/kafka-logs
   zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
   

2. 启动Kafka集群：

   在每台Kafka服务器上，使用以下命令启动Kafka服务：

   bin/kafka-server-start.sh config/server.properties
   

验证Kafka集群

1. 创建和测试Topic：

   创建一个新的Topic，并测试生产者和消费者是否正常工作：

   bin/kafka-topics.sh --create --zookeeper zookeeper1:2181 --replication-factor 3 --partitions 3 --topic test-topic
   bin/kafka-console-producer.sh --broker-list your_server_ip:9093 --topic test-topic
   bin/kafka-console-consumer.sh --bootstrap-server your_server_ip:9093 --topic test-topic --from-beginning
   

通过以上步骤，您可以在Debian上成功搭建一个Kafka集群。在搭建过程中，请确保所有配置项正确无误，并关注每个步骤的输出信息，以便及时发现问题并进行排查。