117笔记问答在Debian上搭建Kafka集群需要以下步骤：
前期准备
- 准备至少三台虚拟机：用于部署Kafka集群。确保虚拟机上配置有SSH服务，以便进行免密登录。
- 安装JDK：Kafka运行在JVM上，需要安装JDK。
- 安装ZooKeeper：Kafka依赖ZooKeeper，需要安装ZooKeeper。
安装Kafka
- 下载Kafka安装包：
cd /opt/ wget https://archive.apache.org/dist/kafka/2.6.0/kafka_2.13-2.6.0.tgz
- 解压Kafka安装包：
tar -zxvf kafka_2.13-2.6.0.tgz mv kafka_2.13-2.6.0 kafka
- 创建存放Kafka消息的目录：
mkdir kafka-logs
- 修改配置文件server.properties：
cd /opt/kafka/config/ vim server.properties
修改以下参数：
- broker.id=0
- listeners=PLAINTEXT://your_first_node_ip:9092
- log.dirs=/opt/kafka/kafka-logs
- zookeeper.connect=your_first_node_ip:2181,your_second_node_ip:2181,your_third_node_ip:2181
- 分发Kafka安装目录到其他集群节点并修改broker.id为不一样的值：
scp -r /opt/kafka/ your_second_node_ip:/opt/ scp -r /opt/kafka/ your_third_node_ip:/opt/
在其他节点上修改server.properties文件中的broker.id为1和3。
- 编写Kafka集群操作脚本，用于启动和停止Kafka集群：
- 导入java环境：
vim /etc/profile
添加如下内容（注意：填写自己的java安装目录）：
export JAVA_HOME=/usr/java/jdk1.8.0_131
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
- 创建kafka启动脚本：
vim kafka-cluster.sh
添加如下内容：
#!/bin/bash
case $1 in
"start")
for i in your_first_node your_second_node your_third_node
do
echo -------------------------------- $i kafka 启动 ---------------------------
ssh $i "source /etc/profile; /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties"
done
;;
esac
- 赋予脚本执行权限：
chmod +x kafka-cluster.sh
- 启动Kafka集群：
./kafka-cluster.sh start
- 停止Kafka集群：
./kafka-cluster.sh stop
以上步骤应该可以帮助你在Debian上成功搭建Kafka集群。如果在执行过程中遇到问题，请检查网络配置、防火墙设置以及各个节点的配置文件是否正确。