117笔记问答在Debian上部署Kafka集群涉及多个步骤，包括安装必要的软件、配置Kafka和Zookeeper、启动服务以及验证集群状态。以下是一个详细的步骤指南：
1. 环境准备
-
安装JDK：Kafka运行在JVM上，因此需要安装JDK。可以使用以下命令安装OpenJDK 8：
sudo apt update sudo apt install openjdk-8-jdk
-
下载并解压Kafka：从Apache Kafka官网下载所需版本的Kafka安装包，并解压到指定目录。
wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz tar -zxvf kafka_2.13-2.6.0.tgz cd kafka_2.13-2.6.0
2. 配置Zookeeper
-
下载并解压Zookeeper：同样从Apache Kafka官网下载Zookeeper安装包，并解压。
wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.6.2.tar.gz tar -zxvf zookeeper-3.6.2.tar.gz cd zookeeper-3.6.2
-
修改Zookeeper配置文件：复制
zoo_sample.cfg为zoo.cfg，并修改以下配置：dataDir=/var/lib/zookeeper clientPort=2181 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888
-
启动Zookeeper：
bin/zookeeper-server-start.sh config/zoo.cfg
3. 配置Kafka
-
修改Kafka配置文件：在每个Kafka节点的
config目录下，修改server.properties文件，设置broker.id、listeners、log.dirs和zookeeper.connect。broker.id=0 listeners=PLAINTEXT://kafka1:9092 log.dirs=/data/kafka zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
-
分发配置文件：将修改好的配置文件复制到其他Kafka节点。
scp /path/to/kafka/config/server.properties hadoop2:/path/to/kafka/config/ scp /path/to/kafka/config/server.properties hadoop3:/path/to/kafka/config/
4. 启动Kafka集群
-
启动Kafka服务：在每个节点上启动Kafka服务。
bin/kafka-server-start.sh config/server.properties
5. 验证集群状态
-
创建测试主题：创建一个测试主题以验证集群功能。
bin/kafka-topics.sh --create --zookeeper zookeeper1:2181,zookeeper2:2181,zookeeper3:2181 --replication-factor 3 --partitions 3 --topic test
-
生产者和消费者测试：分别启动生产者和消费者以验证消息传递。
bin/kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic test bin/kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic test --from-beginning