Logstash 是一款开源的服务器端数据处理管道,支持实时收集、解析和存储各种来源的日志数据。它广泛用于运维监控、日志分析和数据流水线构建。
核心功能 🔧
- 数据采集:通过输入插件(如
stdin
、tcp
)接收多格式数据 - 数据处理:使用过滤器(如
grok
、mutate
)进行字段提取与转换 - 数据输出:支持 Elasticsearch、Kafka、文件等多种输出方式
适用场景 🌐
- 日志集中化管理 📁
- 实时监控与告警 🚨
- 数据清洗与格式标准化 💎
快速入门 🚀
- 安装 Logstash:访问官方下载页面
- 配置文件示例:
input { stdin { } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } output { elasticsearch { hosts => ["http://localhost:9200"] } }
- 启动服务:
bin/logstash -f config.conf