Ubuntu Kafka集群如何配置

配置Ubuntu Kafka集群需要多个步骤，包括安装Java、Zookeeper、Kafka，并配置相关文件。以下是详细的步骤：

1. 环境准备

安装Java

首先需要在Ubuntu系统上安装Java JDK。可以使用以下命令安装OpenJDK 11：

sudo apt update
sudo apt install openjdk-11-jdk -y

验证Java安装成功：

java -version

安装Zookeeper

下载并解压Zookeeper：

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
tar xvf zookeeper-3.4.6.tar.gz
sudo mv zookeeper-3.4.6 /usr/local/zookeeper

配置Zookeeper：

sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
EOF

启动Zookeeper：

sudo /usr/local/zookeeper/bin/zkServer.sh start

验证Zookeeper是否启动成功：

sudo netstat -nap | grep 2181

2. 安装Kafka

下载Kafka：

wget https://downloads.apache.org/kafka/3.6.2/kafka_2.12-3.6.2.tgz
tar -xzf kafka_2.12-3.6.2.tgz
sudo mv kafka_2.12-3.6.2 /usr/local/kafka

配置Kafka： 进入Kafka配置目录：

cd /usr/local/kafka/config

编辑server.properties文件，主要修改以下参数：

broker.id=0  # 每个broker的唯一标识
listeners=PLAINTEXT://:9092  # 监听地址和端口
log.dirs=/tmp/kafka-logs  # 日志目录
zookeeper.connect=localhost:2181  # Zookeeper连接地址

3. 启动Kafka集群

在每个Kafka节点上启动Kafka服务：

sudo /usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties

验证Kafka是否启动成功：

sudo netstat -tulnp | grep 9092

4. 验证集群

创建一个测试主题以验证集群是否正常运行：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

列出主题以确认创建成功：

sudo /usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

发送和接收消息以验证集群功能：

# 发送消息
sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

# 接收消息
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

以上步骤展示了如何在Ubuntu系统上配置Kafka集群。请注意，这只是一个基本示例，实际生产环境中可能需要更多的配置和优化。