Kafka在Ubuntu上的高可用性配置

在Ubuntu上配置Kafka的高可用性涉及多个步骤，包括安装和配置Zookeeper和Kafka，以及设置Kafka集群以确保故障转移和数据一致性。以下是详细的步骤：

1. 安装Zookeeper

首先，确保你已经安装了Java环境，因为Kafka需要Java运行时环境。

sudo apt update
sudo apt install openjdk-8-jdk
java -version

下载并解压Zookeeper：

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.15/zookeeper-3.4.15.tar.gz
tar xvf zookeeper-3.4.15.tar.gz
sudo mv zookeeper-3.4.15 /usr/local/zookeeper

配置Zookeeper：

sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF
tickTime=2000
dataDir=/usr/local/zookeeper
clientPort=2181
EOF

启动Zookeeper：

sudo /usr/local/zookeeper/bin/zkServer.sh start

验证Zookeeper是否启动成功：

sudo netstat -nap | grep 2181

2. 安装Kafka

下载并解压Kafka：

wget https://downloads.apache.org/kafka/2.8.1/kafka_2.13-2.8.1.tgz
tar xvf kafka_2.13-2.8.1.tgz
sudo mv kafka_2.13-2.8.1 /usr/local/kafka

配置Kafka：

编辑/usr/local/kafka/config/server.properties文件，确保以下配置：

listeners=PLAINTEXT://your_kafka_broker_ip:9092
advertised.listeners=PLAINTEXT://your_kafka_broker_ip:9092
zookeeper.connect=localhost:2181
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.segment.bytes=1073741824
log.retention.hours=10
log.retention.check.interval.ms=300000
log.segment.num.files=10

启动Kafka：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

3. 配置Kafka集群

在多台机器上配置Kafka集群，确保每台机器上的server.properties文件中的broker.id、listeners、advertised.listeners和zookeeper.connect配置不同。

例如，在机器1上：

broker.id=1
listeners=PLAINTEXT://192.168.1.1:9092
advertised.listeners=PLAINTEXT://192.168.1.1:9092
zookeeper.connect=localhost:2181

在机器2上：

broker.id=2
listeners=PLAINTEXT://192.168.1.2:9092
advertised.listeners=PLAINTEXT://192.168.1.2:9092
zookeeper.connect=localhost:2181

在机器3上：

broker.id=3
listeners=PLAINTEXT://192.168.1.3:9092
advertised.listeners=PLAINTEXT://192.168.1.3:9092
zookeeper.connect=localhost:2181

4. 启动Kafka集群

在每台机器上启动Kafka服务：

sudo /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties

5. 创建Topic

在任意一台机器上创建一个Topic，并设置replication-factor为集群中的机器数量：

sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test

6. 验证集群

使用Kafka客户端工具验证集群是否正常工作：

sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

通过以上步骤，你可以在Ubuntu上配置一个高可用的Kafka集群。确保在生产环境中使用最新版本的Kafka和Zookeeper，并根据实际需求调整配置。