117笔记问答在 Linux 上部署 Logstash 集群需要以下几个步骤：
- 安装 JDK：
Logstash 需要 Java 运行环境。请确保已经安装了合适版本的 JDK（建议使用 OpenJDK 11 或 Oracle JDK 8）。可以使用以下命令检查 Java 是否已安装：
java -version
- 下载并安装 Logstash：
访问 Logstash 官方下载页面（https://www.elastic.co/downloads/logstash），选择合适的版本并下载 Logstash。解压下载的文件到适当的目录，例如 /opt/logstash。
- 配置 Logstash：
在 Logstash 安装目录中，找到 config 文件夹。创建一个新的配置文件，例如 logstash-cluster.conf。根据你的需求编写配置文件，配置文件主要包括 input、filter 和 output 三个部分。
例如，以下配置文件将从文件中读取日志，对日志进行过滤处理，然后将处理后的日志发送到 Elasticsearch：
input {
file {
path => "/path/to/your/logs/*.log"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "logstash-%{+YYYY.MM.dd}"
}
}
- 设置集群：
为了实现高可用性和负载均衡，你需要在多台服务器上部署 Logstash。在每台服务器上重复上述步骤，确保所有服务器都使用相同的配置文件。
- 启动 Logstash：
在每台服务器上，导航到 Logstash 安装目录，然后运行以下命令启动 Logstash：
bin/logstash -f config/logstash-cluster.conf
- 负载均衡：
为了在 Logstash 集群中实现负载均衡，你可以使用负载均衡器（如 Nginx、HAProxy 等）将输入数据分发到各个 Logstash 节点。这样，当有大量数据需要处理时，负载均衡器会自动将数据分发到不同的 Logstash 节点，从而提高处理速度。
- 监控和维护：
监控 Logstash 集群的运行状况，确保其正常运行。可以使用 Logstash 自带的监控工具（如 Logstash Monitoring）或第三方监控工具（如 Prometheus + Grafana）来实现。定期检查 Logstash 日志，以便及时发现并解决问题。
通过以上步骤，你可以在 Linux 上成功部署 Logstash 集群。