设为首页
收藏本站
切换到宽版
登录
立即注册
找回密码
搜索
搜索
本版
帖子
用户
快捷导航
论坛
BBS
VIP用户组
官网群
无名商城论坛
»
论坛
›
资源分享区
›
学习资源专区
›
【LSP】日志分析平台ELK之日志收集器logstash ...
返回列表
发帖
查看:
231
|
回复:
0
[其他技术]
【LSP】日志分析平台ELK之日志收集器logstash
[复制链接]
无名
无名
当前离线
积分
32464
1万
主题
1万
帖子
3万
积分
管理员
积分
32464
发消息
发表于 2022-5-8 17:02:10
|
显示全部楼层
|
阅读模式
logstash的工作原理类似Linux里的rsyslog,首先logstash会有一个数据输入源,也就是logstash去哪里采集数据,它的采集数据来源很多,比如从文件中采集,从某个tcp/udp端口采集,从redis的消息队列中采集,kafka啊、标准输入等等;它和rsyslog不同的是,rsyslog是把日志数据从一个地方转到另一个地方,中间不会去处理日志的格式,采集回来是什么样就是什么样;而logstash不一样,logstash它可以把采集回来的日志做格式化,以不同的编码形式向外输出;比如把nginx的日志采集回来,它可以以json格式输出;同时它还可以处理采集回来的日志,比如忽略某些字段的输出,把原有日志格式做切分;把原来不是json格式的日志,通过输出规则转换为json格式的日志;总体流程图如下
提示:以上流程图主要表示logstash采集数据和处理数据内部的一个流程;从上面的流程不难想象,logstash就是把一个数据采集回来,通过内部定义的处理规则,然后通过output规则输出到指定地方的一个插件;
安装logstash
logstash的运行方式有两种,第一种以agint的方式运行在数据源所在服务器上采集数据,然后输出到指定地方;第二种是以server方式独立运行在一个服务器上,接受filebeat从数据源发送过来的数据,然后在输出到其他地方;logstash的运行以来jdk,所以首先要在运行jdk的服务器上安装jdk;logstash的版本最好同ELK中的其他组件版本一样;
安装jdk
1
yum install -y java-1.8.0-openjdk-devel
导出JAVA_HOME环境变量
下载logstash-6.8.12.rpm包
提示:logstash安装生成的文件超级多,其中主配置文件是/etc/logstash/lostash.yml,配置日志收集规则、过滤规则、输出规则的文件通常放在/etc/logstash/conf.d/目录下以.conf结尾的文件;其实主配置文件基本不用动,我们直接在/etc/logstash/conf.d/目录下编辑日志收集规则配置文件,然后启动logstash即可;
logstash
,
采集
,
日志
,
输出
,
数据
相关帖子
•
【枭梦游】枭梦游c++输出128个ascll字符
•
把空闲的手机变成网络摄像头
•
【夜未央】Oracle day09 教程
•
【夜未央】Oracle day05 教程
•
【FUT】社会工程学比较简单的攻击方法
•
【LUR】米酷最新版本—6.0源码详细搭建教程
•
【LUR】C语言for循环输出
•
去除重复数据,去除重复软件,去除重复邮箱或者是手机数据软件
•
【陌陌采集UID】采集用户信息,采集性别和年龄,信息
回复
使用道具
举报
返回列表
发帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
快速回复
返回顶部
返回列表