117笔记问答Filebeat 是 Elastic Stack（以前称为 ELK Stack）的一部分，用于监控服务器上的文件或位置，收集日志文件内容，然后转发到 Elasticsearch 或 Logstash 进行索引。Filebeat 的日志传输原理主要包括以下几个步骤：
-
启动 Filebeat：
- 当启动 Filebeat 时，它会启动一个或多个
input，这些input会在指定的目录下查找满足条件的日志文件。
- 当启动 Filebeat 时，它会启动一个或多个
-
启动 Harvester：
- 对于
input所找到的每个日志文件，Filebeat 都会启动一个harvester。 - 每个
harvester会读取单个日志文件以获取新日志数据，并将这些新日志数据聚集（缓存）起来。
- 对于
-
数据传输：
- 当满足指定条件时，Filebeat 会将聚集的日志数据发送到配置的输出介质中。输出介质可以是 Elasticsearch、Logstash、Kafka 等。
-
状态管理和增量传输：
- Filebeat 会保留每个文件的状态，并经常将状态刷新到磁盘中的注册表文件中。该状态用于记住
harvester读取的最后一个偏移量，并确保发送所有日志行。 - 这种机制确保了 Filebeat 只会传输和分发那些尚未被收集和处理的新日志数据，而不会重复传输已经处理过的日志数据，从而实现增量传输。
- Filebeat 会保留每个文件的状态，并经常将状态刷新到磁盘中的注册表文件中。该状态用于记住
-
配置和灵活性：
- Filebeat 的配置文件是 YAML 格式，用户可以在这个配置文件中设置 Filebeat 如何收集和传输数据，包括指定日志文件的路径、包含或排除特定文件的规则、输出设置等。
Filebeat 的设计使其成为一个轻量级且高效的日志收集工具，适用于各种规模的环境，尤其是在需要处理大量日志数据时。通过上述机制，Filebeat 能够确保日志数据的实时传输和处理，同时最大限度地减少资源消耗。