117笔记问答在Ubuntu上配置Apache Kafka时，有几个关键要点需要注意。以下是一个详细的配置指南：
1. 安装Java环境
Kafka需要Java运行环境，因此首先需要安装Java。
sudo apt update sudo apt install openjdk-8-jdk java -version
验证Java安装成功后，可以设置JAVA_HOME环境变量：
echo "export JAVA_HOME=/path/to/your/java" >> ~/.bashrc source ~/.bashrc
2. 安装Zookeeper
Kafka依赖于Zookeeper，因此需要先安装Zookeeper。
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz tar xvf zookeeper-3.4.6.tar.gz sudo mv zookeeper-3.4.6 /usr/local/zookeeper
配置Zookeeper：
sudo cat > /usr/local/zookeeper/conf/zoo.cfg << EOF tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 EOF
启动Zookeeper：
sudo /usr/local/zookeeper/bin/zkServer.sh start
验证Zookeeper是否启动成功：
sudo netstat -nap | grep 2181
3. 安装Kafka
下载Kafka安装包并解压：
wget https://downloads.apache.org/kafka/3.5.2/kafka_2.12-3.5.2.tgz tar -zxvf kafka_2.12-3.5.2.tgz sudo mv kafka_2.12-3.5.2 /usr/local/kafka
配置Kafka：
编辑/usr/local/kafka/config/server.properties文件，设置以下参数：
broker.id: 每个Kafka broker的唯一标识。listeners: Kafka监听的地址和端口。log.dirs: Kafka日志存储的目录。zookeeper.connect: Zookeeper的连接地址和端口。
例如：
broker.id=0 listeners=PLAINTEXT://your_server_ip:9092 log.dirs=/home/your_user/kafka_logs zookeeper.connect=localhost:2181
4. 启动Kafka
在配置文件目录下启动Kafka：
cd /usr/local/kafka/bin ./kafka-server-start.sh ../config/server.properties
验证Kafka是否启动成功：
netstat -tulnp | grep 9092
5. 创建Topic
创建一个新的Kafka主题：
./kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
6. 测试Kafka
使用Kafka控制台生产者发送消息：
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
使用Kafka控制台消费者消费消息：
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
7. 环境变量配置
为了方便管理，可以将Kafka和Zookeeper的路径添加到系统环境变量中：
echo "export KAFKA_HOME=/usr/local/kafka" >> ~/.bashrc echo "export PATH=$PATH:$KAFKA_HOME/bin" >> ~/.bashrc source ~/.bashrc
8. 防火墙配置
确保开放Kafka和Zookeeper所需的端口：
sudo ufw allow 2181 sudo ufw allow 9092 sudo ufw reload
以上是在Ubuntu上配置Kafka的主要要点。请根据实际需求调整配置，并确保所有服务正常运行。