ELK日志系统使用指南2018ppt课件.ppt
ELK日志系统使用指南,目录,KIBANA介绍,KIBANA日志查询及图表功能,KIBANA告警设置,ELK日志收集配置,目录,KIBANA日志查询及图表功能,KIBANA告警设置,ELK日志收集配置,KIBANA介绍,Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。Kibana让我们理解大量数据变得很容易。它简单、基于浏览器的接口使你能快速创建和分享实时展现Elasticsearch查询变化的动态仪表盘。安装Kibana非常快，你可以在几分钟之内安装和开始探索你的Elasticsearch索引数据-不需要写任何代码，没有其他基础软件依赖。,KIBANA介绍,特性,Kibana为Es定制，可以将任何结构化和非结构化数据加入Es索引。Kibana还充分利用了Es强大的搜索和分析功能。,Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。,Kibana提升了Es分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。,强大的数据库可视化接口让各业务岗位都能够从数据集合受益。,使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。,Kibana可以非常方便地把来自Logstash、Beats或第三方技术的数据整合到Es。,Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。,Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。,目录,KIBANA介绍,KIBANA告警设置,ELK日志收集配置,KIBANA日志查询及图表功能,KIBANA日志查询及图表功能,日志查询,KIBANA日志查询及图表功能,日志查询,KIBANA日志查询及图表功能,图表功能,KIBANA日志查询及图表功能,图表功能PIE,以状态码分布图为例：选择需要建报表的日志来源,KIBANA日志查询及图表功能,图表功能PIE,KIBANA日志查询及图表功能,图表功能LINE,以平均响应时间为例：获取时间段内各状态码的平均响应时间,KIBANA日志查询及图表功能,图表功能LINE,KIBANA日志查询及图表功能,图表功能AREA,以响应时间为例：统计接口响应时间,KIBANA日志查询及图表功能,图表功能AREA,KIBANA日志查询及图表功能,图表功能Vertical Bar,以日志展示为例：,KIBANA日志查询及图表功能,图表功能Data Table,以统计URL的TOP99为例：,KIBANA日志查询及图表功能,图表功能Metric,以统计请求失败总数及IP为例：,KIBANA日志查询及图表功能,日志仪表盘Dashboard,鉴于建好的各种图表，为了方便查看，我们将之合并到Dashboard（仪表盘）中：,KIBANA日志查询及图表功能,日志仪表盘Dashboard,鉴于建好的各种图表，为了方便查看，我们将之合并到Dashboard（仪表盘）中：,KIBANA日志查询及图表功能,日志仪表盘Dashboard,目录,KIBANA介绍,KIBANA日志查询及图表功能,ELK日志收集配置,KIBANA告警设置,KIBANA告警设置,告警,告警作用：当系统发生不可用或者服务超时，而系统日志并不一定有开发同事时时监测的情况下，可以立即分析并解决问题，保证系统的可用性。WATCHER插件实现了该 功能，它支持的Action类型有四种：EMail(邮件)，Webhook(第三方对接)，Index(索引)，Logging(日志记录)。其中Email与Webhook是常用类型；,KIBANA告警设置,Email告警,KIBANA告警设置,Webhook告警SMS,目录,KIBANA介绍,KIBANA日志查询及图表功能,KIBANA告警设置,ELK日志收集配置,ELK日志收集配置,业务系统日志传输Filebeat,Filebeat是一个开源的文件收集器，主要用于获取日志文件，并把它们发送到logstash或elasticsearch。,实现原理：当开启filebeat程序的时候，它会启动一个或多个探测器（prospectors）去检测指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。,ELK日志收集配置,业务系统日志传输Filebeat,在需要收集日志的业务系统服务器上安装Filebeat，配置fielebeat.yml文件，启动Filebeat即可。,ELK日志收集配置,业务系统日志传输Filebeat,fielebeat.yml配置文件中的证书生成命令如下：mkdir-p pki/tls/certs mkdir-p pki/tls/private openssl req-subj/CN=服务器IP/-x509-days$(100*365)-batch-nodes-newkey rsa:2048-keyout pki/tls/private/filebeat.key-out pki/tls/certs/filebeat.crt,ELK日志收集配置,业务系统日志传输Filebeat,启动filebeat，如报以下错误cannot validate certificate for 10.10.11.109 because it doesnt contain any IP SANs，解决办法如下：删除之前产生的证书，对openssl进行重新配置找到f文件，对该文件进行编辑，找到 v3_ca 加入下边一行：subjectAltName=IP:这里写ip地址重新生成证书，进行copy 配置即可,ELK日志收集配置,ELKLogstash,ssl：true 表示开启 Logstash 的 SSL/TLS 安全通信功能；ssl_certificate_authorities：配置 Logstash 使其信任所有由该 CA 证书发行的证书；ssl_certificate&ssl_key：Logstash server 证书和 key 文件。Logstash 使用它们向 Filebeat client 证明自己的可信身份；ssl_verify_mode：表明 Logstash server 是否验证 Filebeat client 证书。有效值有 peer 或 force_peer。如果是 force_peer，表示如果 Filebeat 没有提供证书，Logstash server 就会关闭连接。,1、定义数据源,ELK日志收集配置,ELKLogstash,2、定义数据的格式,ELK日志收集配置,ELKLogstash,3、输出,谢谢Thank you for watching,
