在Ubuntu上测试Apache Kafka可以分为几个步骤,包括安装、配置、启动服务、创建主题、发送和消费消息。以下是一个详细的测试流程:
1. 安装Java环境
Kafka需要Java环境,因此首先需要安装Java。可以通过以下命令安装OpenJDK 11:
sudo apt update sudo apt install openjdk-11-jdk -y
然后检查Java版本:
java -version
2. 下载并解压Kafka
访问Apache Kafka官网下载最新版本的Kafka,或者使用wget命令直接下载。例如,下载Kafka 3.5.1版本:
wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
解压下载的压缩包:
tar -xzf kafka_2.13-3.5.1.tgz
3. 启动ZooKeeper
Kafka使用ZooKeeper来维护集群元数据,因此需要先启动ZooKeeper。进入Kafka目录并启动ZooKeeper:
cd kafka_2.13-3.5.1 sudo ./bin/zookeeper-server-start.sh config/zookeeper.properties
4. 启动Kafka服务
在另一个终端中启动Kafka服务:
sudo ./bin/kafka-server-start.sh config/server.properties
5. 创建Kafka Topic
使用以下命令创建一个Kafka Topic:
./bin/kafka-topics.sh --create --topic test-topic --zookeeper localhost:2181 --partitions 1 --replication-factor 1
6. 验证Kafka和Topic
列出所有的Kafka Topics以验证Topic是否创建成功:
./bin/kafka-topics.sh --list --zookeeper localhost:2181
7. 发送和消费消息
启动生产者发送消息
在生产者终端输入消息:
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
在生产者终端输入消息,例如:
Hello, Kafka!
启动消费者消费消息
在另一个终端中启动消费者:
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning
在消费者终端中,你应该能看到生产者发送的消息:
Hello, Kafka!
8. 停止Kafka和ZooKeeper
当你完成测试后,可以使用以下命令停止Kafka和ZooKeeper服务:
sudo ./bin/kafka-server-stop.sh sudo ./bin/zookeeper-server-stop.sh