117笔记问答在Debian上配置Kafka集群涉及多个步骤，包括安装Java、下载和配置Kafka、设置Zookeeper以及启动和验证Kafka集群。以下是一个详细的指南：
1. 安装Java
Kafka需要Java运行时环境（JRE）或Java开发工具包（JDK）。你可以使用OpenJDK或Oracle JDK。
sudo apt update sudo apt install openjdk-11-jdk
验证Java安装：
java -version
2. 下载和配置Kafka
从Apache Kafka官方网站下载最新版本的Kafka。
wget https://downloads.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz tar -xzf kafka_2.13-3.3.1.tgz cd kafka_2.13-3.3.1
3. 设置Zookeeper
Kafka使用Zookeeper进行集群管理。你需要启动多个Zookeeper实例来创建一个Kafka集群。
启动第一个Zookeeper实例
编辑config/zookeeper.properties文件：
dataDir=/var/lib/zookeeper clientPort=2181 maxClientCnxns=0 server.1=localhost:2888:3888
创建数据目录并启动Zookeeper：
sudo mkdir -p /var/lib/zookeeper sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties
启动第二个Zookeeper实例
复制第一个Zookeeper实例的配置文件并修改：
cp config/zookeeper.properties config/zookeeper2.properties nano config/zookeeper2.properties
修改以下行：
dataDir=/var/lib/zookeeper2 clientPort=2182 server.2=localhost:2889:3889
创建数据目录并启动Zookeeper：
sudo mkdir -p /var/lib/zookeeper2 sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper2 bin/zookeeper-server-start.sh config/zookeeper2.properties
启动第三个Zookeeper实例
复制第一个Zookeeper实例的配置文件并修改：
cp config/zookeeper.properties config/zookeeper3.properties nano config/zookeeper3.properties
修改以下行：
dataDir=/var/lib/zookeeper3 clientPort=2183 server.3=localhost:2890:3890
创建数据目录并启动Zookeeper：
sudo mkdir -p /var/lib/zookeeper3 sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper3 bin/zookeeper-server-start.sh config/zookeeper3.properties
4. 配置Kafka
编辑config/server.properties文件：
broker.id=1 listeners=PLAINTEXT://:9092 log.dirs=/var/lib/kafka-logs zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
对于第二个和第三个Kafka实例，分别修改broker.id和listeners：
第二个Kafka实例
broker.id=2 listeners=PLAINTEXT://:9093 log.dirs=/var/lib/kafka-logs-2 zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
第三个Kafka实例
broker.id=3 listeners=PLAINTEXT://:9094 log.dirs=/var/lib/kafka-logs-3 zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
5. 启动Kafka集群
启动每个Kafka实例：
bin/kafka-server-start.sh config/server.properties bin/kafka-server-start.sh config/server-2.properties bin/kafka-server-start.sh config/server-3.properties
6. 创建Topic
创建一个Topic来测试集群：
bin/kafka-topics.sh --create --topic test-topic --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3
7. 验证Kafka集群
列出所有Topic：
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
查看Topic详情：
bin/kafka-topics.sh --describe --topic test-topic --bootstrap-server localhost:9092
生产者和消费者消息：
# 生产者 bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092 # 消费者 bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092
通过以上步骤，你应该能够在Debian上成功配置一个Kafka集群。