117笔记问答在Ubuntu上监控Apache Kafka集群有多种方法，以下是一些常用的监控工具和配置方法：
Kafka命令行工具
- 查看Topic列表：使用命令
kafka-topics.sh --list --zookeeper localhost:2181来列出所有的Topic。 - 查看消费者组状态：使用命令
kafka-consumer-groups.sh --list --bootstrap-server localhost:9092来列出所有的消费者组。 - 查看集群统计信息：使用命令
kafka-run-class.sh kafka.admin.OperationsList --zookeeper localhost:2181 --operation ListStats。
Kafka Manager
- 安装：从GitHub下载Kafka Manager的最新版本，解压缩到本地文件夹中。
- 配置：修改
application.conf文件中的kafka-manager.zkhosts值设置真实的服务器地址。 - 启动：运行
bin/kafka-manager启动Kafka Manager。 - 访问：访问Kafka Manager提供的URL，使用用户名和密码登录，可以查看集群的节点列表和状态、主题列表及其分区分配、消费组及其消费进度等信息。
Kafka Exporter
- 安装：使用Docker Compose部署多个Kafka Exporter，每个exporter对接一个Kafka broker。
- 配置：在
kafka_exporter.yml文件中配置每个kafka broker的地址和版本。 - 启动：启动Kafka Exporter服务。
Prometheus和Grafana
- 安装Prometheus：下载并解压Prometheus。
- 配置Prometheus：创建
prometheus.yml文件，配置抓取Kafka Exporter的指标。 - 安装Grafana：下载并解压Grafana。
- 配置Grafana：启动Grafana服务，并在其中添加Kafka监控面板。
Kafka Eagle
- 安装：下载Kafka Eagle的安装包，解压并进入目录。
- 配置：编辑
system-config.properties文件，配置Zookeeper地址、Kafka JMX URL等参数。 - 启动：运行
ke.sh start启动Kafka Eagle。
以上方法可以帮助您在Ubuntu系统上有效地监控Kafka集群的健康状态和性能指标。