Kafka Prometheus 集成是一种监控 Kafka 集群性能指标的方法,通过 Prometheus 收集器和 Kafka 提供的 JMX 指标来实现。以下是集成步骤:
-
安装 Prometheus 和 Kafka JMX 导出器:
对于 Prometheus,你需要在其官方 GitHub 仓库下载并安装 Prometheus 服务器:https://github.com/prometheus/prometheus
对于 Kafka JMX 导出器,你需要在 Kafka 安装目录的
bin
文件夹中创建一个名为kafka-jmx-exporter.jar
的文件。你可以从以下链接下载它:https://github.com/linkedin/kafka-jmx-exporter/releases -
配置 Kafka JMX 导出器:
编辑 Kafka 的
config/connect-jmx-exporter.properties
文件,设置以下参数:listener.name=jmx listener.host_name=
listener.port= listener.protocol=http export.jmx.simple.regex=.*kafka.* 将
和
替换为你的服务器 IP 地址和期望的 JMX 导出器端口。 -
启动 Kafka JMX 导出器:
在 Kafka 安装目录的
bin
文件夹中,运行以下命令启动 Kafka JMX 导出器:./kafka-jmx-exporter --conf /path/to/kafka/config/connect-jmx-exporter.properties --jmx-url service:jmx:rmi:///jndi/rmi://
: /jmxrmi --object-name kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec 将
和
替换为你的服务器 IP 地址和期望的 JMX 导出器端口。 -
配置 Prometheus 抓取 Kafka JMX 导出器:
编辑 Prometheus 的
config/prometheus.yml
文件,添加一个新的抓取作业,指向 Kafka JMX 导出器:scrape_configs: - job_name: 'kafka' static_configs: - targets: ['
: '] 将
和
替换为你的服务器 IP 地址和期望的 JMX 导出器端口。 -
重启 Prometheus 服务器:
保存更改并重启 Prometheus 服务器以应用新的配置。
现在,Prometheus 应该能够抓取 Kafka JMX 导出器提供的指标,并在其 Web 界面中显示这些指标。你可以使用 Prometheus 查询语言(PromQL)来查询和分析这些指标。