Logstash 参考指南
Logstash是一个具有实时管道功能的开源数据收集引擎,Logstash可以动态地将来自不同数据源的数据统一起来,并将数据规范化为你选择的目的地,清理和大众化你的所有数据,用于各种高级下游分析和可视化用例。
Logstash介绍
Logstash入门
本节将指导你安装Logstash并验证一切正常运行的过程,在了解如何储藏第一个事件之后,你将继续创建一个更高级的管道,该管道将Apache web日志作为输入,解析日志,并将解析后的数据写入Elasticsearch集群,然后你将学习如何将多个输入和输出插件组合在一起,以统一来自各种不同来源的数据。
- 安装Logstash
- 储存你的第一个事件
- 使用Logstash解析日志
- 拼接多个输入和输出插件
Logstash是如何工作的
设置和运行Logstash
在阅读本节之前,请参阅安装Logstash了解基本的安装说明,以帮助你入门,本节包括关于如何设置和运行Logstash的其他信息。
- Logstash目录布局
- Logstash配置文件
- logstash.yml
- 安全设置的Secrets Keystore
- 从命令行运行Logstash
- 作为Debian或RPM上的服务运行Logstash
- 在Docker上运行Logstash
- 为Docker配置Logstash
- 日志记录
- 关闭Logstash
- 安装X-Pack
重要更改
升级Logstash
- 使用包管理器升级
- 直接下载进行升级
- 将Logstash升级到6.0
- 启用持久队列进行升级
配置Logstash
- 配置Logstash
- 配置文件的结构
- 在配置中访问事件数据和字段
- 在配置中使用环境变量
- Logstash配置示例
- 多个管道
- 管道到管道通信(Beta)
- 重新加载配置文件
- 管理多行事件
- Glob模式支持
- 转换摄取节点管道
- Logstash到Logstash沟通
- 集中的管道管理
- 配置Logstash节点监控
- 在Logstash中配置安全性
管理Logstash
Logstash提供配置管理功能,使你可以更轻松地管理对配置的更新。
本节中的主题仅描述Logstash的配置管理功能,有关其他配置管理工具(如Puppet和Chef)的信息,请参阅这些项目的文档,还可以查看Logstash的Puppet模块文档。
- 集中的管道管理
- 使用Logstash模块
- 使用Elastic Cloud
- ArcSight模块
- Netflow模块
- Azure模块
使用Filebeat Modules
- 使用Filebeat Modules
- 使用Filebeat Modules配置示例
数据弹性
转换数据
- 执行核心操作
- 反序列化数据
- 提取字段并处理数据
- 通过查找丰富数据
部署和扩展Logstash
性能调优
监控Logstash
- 监控Logstash
- X-Pack监控概述
- 监控UI
- 管道查看器UI
监控API
- Node Info API
- Plugins Info API
- Node Stats API
- Hot Threads API
使用插件
- 生成插件
- 离线插件管理
- 私有Gem库
- Event API
输入插件
输出插件
- 输出插件
- elasticsearch
- email
- file
- kafka
- websocket
过滤器插件
编解码器插件
贡献给Logstash
- 如何编写Logstash输入插件
- 如何编写Logstash编解码器插件
- 如何编写Logstash过滤器插件
- 如何编写Logstash输出插件
- 为Logstash插件提供补丁
- Logstash插件社区维护人员指南
- 提交你的插件到RubyGems.org和logstash插件仓库
术语表
发布说明
- Logstash 6.4.2发布说明
- Logstash 6.4.1发布说明