监控日志系列---- Filebeat原理

Filebeat 是使用 Golang 实现的轻量型日志采集器,也是 Elasticsearch stack 里面的一员。本质上是一个 agent,可以安装在各个节点上,根据配置读取对应位置的日志,并上报到相应的地方去。

filebeat源码归属于beats项目,而beats项目的设计初衷是为了采集各类的数据,所以beats抽象出了一个libbeat库,基于libbeat我们可以快速的开发实现一个采集的工具,除了filebeat,还有像metricbeat、packetbeat等官方的项目也是在beats工程中。libbeat已经实现了内存缓存队列memqueue、几种output日志发送客户端,数据的过滤处理processor,配置解析、日志打印、事件处理和发送等通用功能,而filebeat只需要实现日志文件的读取等和日志相关的逻辑即可。


监控系列---- log

日志是设备或者程序对自身状态和运作行为的记录,日志监控平台是包括日志采集,存储,分析,索引查询,告警以及各种流程管理的一站式日志服务,日志监控是监控体系中核心的建设,而且可以说是量最大的一项监控。


监控日志系列---- Filebeat

Filebeat 是使用 Golang 实现的轻量型日志采集器,是基于原先 logstash-forwarder 的源码改造出来的,没有任何依赖,可以单独存在的搞性能采集工具。


监控日志系列---- loki

Loki是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。它的设计非常经济高效且易于操作,因为它不会为日志内容编制索引,而是为每个日志流编制一组标签,为 Prometheus和 Kubernetes用户做了相关优化。项目受 Prometheus 启发,类似于 Prometheus 的日志系统。