Logstash、kibana入门

目录

Logstash环境准备与安装

Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash整个ELK当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指定的且可以是多个不同目的地。

# 安装jdk
[root@db03 ~]# yum install -y java-1.8.0-openjdk

# 安装logstash
[root@db03 ~]# yum localinstall -y logstash-5.3.0.rpm

Logstash输入输出插件介绍

INPUT：插件使Logstash能够读取特定的事件源。
OUTPUT：插件将事件数据发送到特定的目的地，OUTPUT是事件流水线中的最后阶段。

INPUT支持事件源 OUTPUT支持输出源 CODEC编解码器支持编码
azure_event_hubs(微软云事件中心) elasticsearch(搜索引擎数据库) avro(数据序列化)
beats(filebeat日志收集工具) email(邮件) CEF(嵌入式框架)
elasticsearch(搜索引擎数据库) file(文件) es_bulk(ES中的bulk api)
file(文件) http(超文本传输协议) Json(数据序列化、格式化)
generator(生成器) kafka(基于java的消息队列) Json_lines(便于存储结构化)
heartbeat(高可用软件) rabbitmq(消息队列 OpenStack) line(行)
http_poller(http api) redis(缓存、消息队列、NoSQL) multiline(多行匹配)
jdbc(java连接数据库的驱动) s3*(存储) plain(纯文本，事件间无间隔)
kafka(基于java的消息队列) stdout(标准输出) rubydebug(ruby语法格式)
rabbitmq(消息队列 OpenStack) tcp(传输控制协议)
redis(缓存、消息队列、NoSQL) udp(用户数据报协议)
s3*(存储)
stdin(标准输入)
syslog(系统日志)
tcp(传输控制协议)
udp(用户数据报协议)

Logstash输入输出插件测试

测试logstash标准输入到标准输出

[root@db03 ~]# /usr/share/logstash/bin/logstash -e 'input { stdin{} } output { stdout{ codec => rubydebug } }'

image-20211103165022030

测试logstash标准输入到文件

[root@db03 ~]# /usr/share/logstash/bin/logstash -e 'input{stdin{}} output {file{path => "/tmp/test_%{+YYYY-MM-dd}.log"}}'

image-20211103165514496

测试logstash标准输入到ES

[root@db03 tmp]# /usr/share/logstash/bin/logstash -e 'input { stdin{} } output { elasticsearch {hosts => ["10.0.0.51:9200"] index => "aaa_%{+YYYY.MM.dd}" }}'

# 键盘输入 hello world

image-20211103165852533

Kibana简介及部署

Kibana是一个通过调用elasticsearch的接口进行图形化展示搜索结果的开源项目。

部署kibana

# 安装kibana
[root@db04 ~]# yum localinstall kibana-5.3.0-x86_64.rpm

# 修改配置文件
[root@db04 ~]# vim /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://10.0.0.51:9200" # 如果填写域名，后面必须写端口号

# 启动kibana
[root@db04 ~]# systemctl start kibana
[root@db04 ~]# netstat -lntup|grep 5601
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      3060/node    

# ES机器要配置跨域
http.cors.enabled: true
http.cors.allow-origin: "*"

# 浏览器访问 10.0.0.54:5601

打开浏览器，访问：http://10.0.0.54:5601/status 查看Kibana及集群状态。

image-20211103174910919

image-20211103171514793

image-20211103171636281

image-20211103172041229

kibana中添加ES索引

image-20211103175043058

image-20211103175126661

image-20211103180209729

在上图右边红框出写入ES索引名，下图中红框部分，就是ES中的索引，也是日志名称。

image-20211103181144272

image-20211103180932538

kibana查看日志

image-20211103181721377

kibana区域说明

image-20211103181823346

绿色区域

时间区域，选择想要查看日志的时间段：
第一个是快速查询，可以查看今天，这周，这个月，这一年，昨天…… 等时段的日志
第二个是查看具体那个时间段之前，到现在为止的一段时间的日志
第三个是精确查找，可以根据日志，具体到某个时间点，可精确到秒

黄色区域

功能区域，查看日志，画图工具，图形展示，时间轴，开发工具，管理工具

黑色区域

日志列表区，选择自己想看的日志，日志名以项目名开头，后面是对应的域名。
例：[zls_]YYYY.MM.DD 标红的为日期格式。

红色区域

搜索区，使用Lucene语法搜索想要内容。

白色区域

展示区 ，日志的详细信息，及过滤日志后会高亮显示。

原文地址：http://www.cnblogs.com/bloglee/p/16787777.html

1. 本站所有资源来源于用户上传和网络，如有侵权请邮件联系站长！ 2. 分享目的仅供大家学习和交流，请务用于商业用途! 3. 如果你也有好源码或者教程，可以到用户中心发布，分享有积分奖励和额外收入！ 4. 本站提供的源码、模板、插件等等其他资源，都不包含技术服务请大家谅解！ 5. 如有链接无法下载、失效或广告，请联系管理员处理！ 6. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！ 7. 如遇到加密压缩包，默认解压密码为"gltf",如遇到无法解压的请联系管理员！ 8. 因为资源和程序源码均为可复制品，所以不支持任何理由的退款兑现，请斟酌后支付下载 声明：如果标题没有注明"已测试"或者"测试可用"等字样的资源源码均未经过站长测试.特别注意没有标注的源码不保证任何可用性