Linux backlog如何监控告警

在Linux系统中，监控和告警backlog（新连接队列的长度限制）可以通过多种方法和工具来实现。以下是一些常见的方法和工具：

1. 使用 netstat 和 ss 命令

netstat 和 ss 命令可以用来查看当前backlog的使用情况。例如：

• netstat -s：显示各种协议的状态统计信息，包括TCP连接数。
• ss -tnlp：显示当前TCP连接的详细信息，包括backlog队列长度。

2. 使用脚本监控

可以编写脚本定期检查backlog队列的长度，并在超过阈值时发送告警邮件。例如，以下脚本可以监控 /var/log/ 目录的大小，并在超过5GB时发送邮件告警：

#!/usr/bin/env bash

dir="/var/log/"
pack="/root/"
dir_G=$(du -sh ${dir}|cut -d'/' -f1|grep "G")
now_time=$(date)

if [[ ${dir_G} =~ "G" ]]; then
    local number=$(echo "${dir_G}"|awk -F'G''{print $1}')
    local number=$(printf "%.0f"$number)
    local filename=$(date +%Y%m%d%H%M)
    if [ "${number}" -ge "5" ]; then
        tar -czf ${pack}${filename}.log.tar.gz ${dir} 2>/dev/null
        send_warning "请注意，当前【${dir}】目录占用已达到【${dir_G}】,已将日志文件打包至【${pack}】目录下""告警时间:${now_time}"
    fi
fi

function send_warning() {
    local message="$1"
    echo "$message" | mail -s "Backlog Alert" admin@example.com
}

3. 使用系统监控工具

a. Prometheus 和 Alertmanager

Prometheus 是一个开源的监控和告警工具，可以与 Alertmanager 配合使用来实现复杂的告警管理。Alertmanager 负责处理来自 Prometheus 的告警，提供告警去重、分组、路由和通知等功能。

1. 安装和配置 Prometheus 和 Alertmanager：

# 安装 Prometheus
wget https://github.com/prometheus/prometheus/releases/download/v2.30.3/prometheus-2.30.3.linux-amd64.tar.gz
tar xvfz prometheus-2.30.3.linux-amd64.tar.gz
cd prometheus-2.30.3.linux-amd64

# 安装 Alertmanager
wget https://github.com/prometheus/alertmanager/releases/download/v0.23.0/alertmanager-0.23.0.linux-amd64.tar.gz
tar xvfz alertmanager-0.23.0.linux-amd64.tar.gz
cd alertmanager-0.23.0.linux-amd64

# 配置 Prometheus 和 Alertmanager
# 编辑 prometheus.yml 和 alertmanager.yml 文件，配置告警规则、接收器等。

2. 配置告警规则：

在 Prometheus 的配置文件 prometheus.yml 中添加告警规则：

groups:
- name: example
  rules:
  - alert: HighBacklog
    expr: backlog_queue_length > 1000
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "High backlog detected"
      description: "The backlog queue length has exceeded the threshold."

3. 启动 Prometheus 和 Alertmanager：

./prometheus --config.file=prometheus.yml
./alertmanager --config.file=alertmanager.yml

b. Categraf 和 exec 插件

Categraf 是一个数据采集工具，可以通过其 exec 插件来监控系统用户及密码有效期，并发送告警。

1. 安装和配置 Categraf：

# 安装 Categraf
wget https://github.com/cybozu-go/categraf/releases/download/v1.8.0/categraf-1.8.0.linux-amd64.tar.gz
tar xvfz categraf-1.8.0.linux-amd64.tar.gz
cd categraf-1.8.0.linux-amd64

# 配置 exec 插件
# 编辑 exec.toml 文件，定义要执行的脚本和监控间隔。

2. 编写监控脚本：

创建 check_password_expiry.sh 脚本：

#!/bin/bash

users=("app" "root" "weihu" "mysql" "nginx")

for user in "${users[@]}" do
    export LANG=en_US.UTF-8
    EXPIRY_DATE_RAW=$(chage -l $user | grep "Password expires")
    EXPIRY_DATE=$(echo "$EXPIRY_DATE_RAW" | awk -F: '{print $2}' | awk '{$1=$1};1')

    if [[ "$EXPIRY_DATE" =~ ^(never|从不)$ ]]; then
        EXPIRY_DATE_TS=99999
    else
        EXPIRY_DATE_TS=$(date --date="$EXPIRY_DATE" +%s 2>/dev/null)
    fi

    TODAY_TS=$(date +%s)
    DAYS_LEFT=$(( (EXPIRY_DATE_TS - TODAY_TS) / 86400 ))

    echo "password_expiry,account=$user,password_expires_time=$EXPIRY_DATE_FORMATTED"
done

3. 启动 Categraf：

./categraf --config.file=exec.toml

4. 使用系统日志和命令

可以通过系统日志和命令来确认告警信息。

• dmesg：显示系统的内核环缓冲区信息，包括告警信息。
• journalctl：查看 systemd 日志，输出所有级别为 err 的日志。
• /var/log 目录下的日志文件：如 /var/log/messages、/var/log/syslog、/var/log/dmesg 等，包含系统的各种运行时消息和错误。

通过以上方法和工具，可以有效地监控和告警 Linux 系统中的 backlog 情况，确保系统的稳定性和可靠性。