GrayLog日志管理系统.pptx

GrayLog日志管理系统开源的日志聚合工具 -为程序员服务特点 零开发，从收集-存储-分析-呈现完整流程 一体化方案，安装方便，简单配置即可使用 大数据支持，支持几十G日志收集、查询 支持多日志收集工具，syslog、Log4j、Logstash等 支持多协议接入，UDP、TCP、HTTP、AMQP 丰富的功能界面，提供列表、图形和自定义面板 全文搜索，支持按语法进行过滤搜索全部日志 支持扩展，可以根据应用扩展平台性能GrayLog设计架构GrayLog-系统界面日志收集-多接入源日志收集-信息标准GELF 内部数据标准信息格式GELF 外部转换成GELF后输入 外部输入后内部转换成GELF GELF可支持字段扩展日志收集-多协议支持 支持syslog-ng、rsyslog系统日志 支持GELF标准TCP、UDP、HTTP 其它协议日志收集-系统日志syslog-ng rsyslog Gray支持将系统日志直接转换成GELF 修改系统日志的输出方向（/etc/syslog.conf） 在GrayLog中通过WEB界面添加日志输入源日志收集-Log4j 通过一个Jar包实现将Log4j日志转换成GELF，并通过UDP、TCP发送到GrayLog 优点：使用简单、维护成本低、实时性高 缺点：当应用服务器与GrayLog服务器之间网络异常或GrayLog服务中断时，日志会丢失日志收集-工具- Logstash、 Fluentd 先用工具收集日志，再推送到GrayLog服务器 优点：安全性更高，通过缓存区可以避免当网络异常或GrayLog服务异常引起的日志丢失 缺点：增加一个服务，造成维护成本高；采用UDP方式，仍然不能避免日志收集服务异常中断问题；采用日志文件方式，实时性不高日志收集-GELF UDP接收 在GrayLog上通过WEB界面添加输入源日志配置存储-MongoDB 存储系统用户、模板、配置等信息日志分析与存储- ElasticSearch 支持全文搜索 搜索效率高 支持简单语法按字段搜索或全文搜索AND、OR、NOT搜索精确搜索和模糊搜索通配符搜索相似搜索范围搜索日志界面呈现-Search日志详情内容日志错误日志日志-图形分析 分类统计分析 时间趋势分析 数据差值分析自定义面板-DashBoards 灵活定制，自定义规则 面板可编辑，自定义显示位置 内容自动刷新日志信息提取-信息字段扩展 Json格式提取 Key=Value提取 正则表达式提取流规则定义-Stream 对指定输入流按定义规则进行检测 可以根据规则查看过滤获得的消息列表 可以设置报警规则，发出警报（1）发送邮件（2）内容提交到其它URL地址GrayLog-性能、存储周期 依赖于安装主机的性能，包括CPU和内存，对ElaticSearch来说，内存越大越大，能有效提高数据检索速度 GrayLog中的日志数据不是永久保存，它可以通过两种方式来设置，这个值的设置需要依赖主机性能保存周期（一般不能超过3个月）保存容量大小（一般最大是几十G）性能不足？安装部署 一体化安装，集成操作系统、各种安装包和环境配置，分配一个虚拟机即可 单独安装，需要下载各种服务包，需要知道版本匹配，并且配置较多n建议采用一体化安装GrayLog-2.0 已出第一个商业版本 Search界面自动刷新 支持日志数据备份 搜索结果高亮显示 支持插件开发谢谢！