117笔记问答在Debian上部署Kafka集群需要一些步骤，以下是详细的指南：
准备工作
- 硬件需求：
- 至少三台服务器用于构建一个基本的高可用性Kafka集群。
- 建议使用多核处理器、大内存容量和快速的存储设备。
- 软件组件的选型与版本选择：
- 选择最新的稳定版本的Apache Kafka。
- 安装JDK 8/11/16，推荐使用官方推荐的版本。
安装步骤
- 安装JDK：
sudo apt update sudo apt install openjdk-8-jdk
验证安装：
java -version
- 下载并解压Kafka：
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz tar -zvxf kafka_2.12-3.5.2.tgz cd kafka_2.12-3.5.2
- 配置环境变量：
在/etc/profile文件最下方添加如下两行命令：
export KAFKA_HOME=/path/to/kafka export PATH=$PATH:$KAFKA_HOME/bin
使配置生效：
source /etc/profile
- 启动Zookeeper：
在任意一台服务器上启动Zookeeper：
./zookeeper-server-start.sh ../config/zookeeper.properties
- 配置Kafka Broker：
在每台服务器上修改server.properties文件：
broker.id=0 zookeeper.connect=192.168.11.59:2181
启动Kafka Broker：
./kafka-server-start.sh ../config/server.properties
- 验证安装：
使用以下命令查看Kafka是否启动成功：
lsof -i:9092
配置Kafka集群
- 修改
broker.id和listeners：
在每台服务器上修改server.properties文件，确保每台服务器的broker.id和listeners配置不同。
- 配置Zookeeper连接：
确保所有服务器的zookeeper.connect配置正确，指向Zookeeper的地址。
启动集群
- 依次启动所有节点：
按照服务器的主机名顺序依次启动Zookeeper和Kafka Broker。
- 验证集群状态：
使用以下命令查看Kafka集群状态：
./kafka-topics.sh --zookeeper 192.168.11.59:2181 --describe
常用命令
- 创建主题：
./kafka-topics.sh --zookeeper 192.168.11.59:2181 --create --topic my-topic --partitions 3 --replication-factor 2
- 查看主题列表：
./kafka-topics.sh --zookeeper 192.168.11.59:2181 --list
- 消费消息：
./kafka-console-consumer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic --from-beginning
- 生产消息：
./kafka-console-producer.sh --bootstrap-server 192.168.11.59:9092 --topic my-topic