ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。
ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
Kiabana:Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,可以用来汇总、分析和搜索重要数据。
Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。
可以添加的其它组件:
Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。
常应用于 EFLK 架构当中。
ilebeat 结合 logstash 带来好处:
1.通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,从而减轻 Elasticsearch 持续写入数据的压力
2.从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取
3.将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件
4.使用条件数据流逻辑组成更复杂的处理管道
总结:logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理。
node1节点(2C/4G) | node1/192.168.11.11 | Elasticsearch |
---|---|---|
node2节点(2C/4G) | node2/192.168.11.12 | Elasticsearch |
Apache节点 | apache192.168.11.13 | Logstash Kibana Apache |
关闭防火墙(所有节点)
systemctl stop firewalld
setenforce 0
设置Java环境
ELK是由java开发的必须运行在jvm上
java -version #如果没有安装,yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
设置主机名
hostnamectl set-hostname es01 su
hostnamectl set-hostname es02 su
hostnamectl set-hostname apache su
主机名映射(所有节点)
vim /etc/hosts
192.168.11.11 es01
192.168.11.12 es02
192.168.11.13 apache
部署 Elasticsearch 软件
(1)安装elasticsearch—rpm包
#上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
(2)修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node1
node.master: true #是否master节点,false为否
node.data: true #是否数据节点,false为否
--33--取消注释,指定数据存放路径
path.data: /var/lib/elasticsearch
--37--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch
--43--取消注释,避免es使用swap交换分区
bootstrap.memory_lock: true
--55--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--59--取消注释,ES 服务的默认监听端口为9200
http.port: 9200 #指定es集群提供外部访问的接口
transport.tcp.port: 9300 #指定es集群内部通信接口
--68--取消注释,集群发现通过单播实现,指定要发现的节点
discovery.zen.ping.unicast.hosts: ["192.168.11.11:9300", "192.168.11.12:9300"]
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
安装elasticsearch—rpm包(es01)
修改jvm配置文件优化
备份配置文件
修改配置文件
过滤一下刚刚配置
cat elasticsearch.yml | grep -v "^#"
配置es02节点
将es01配置导给es02,做简单修改
scp elasticsearch.yml es02:`pwd`
es 性能调优参数(es01和es02都要做)
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......
* soft nofile 65536 硬限制
* hard nofile 65536 软限制
* soft nproc 32000 打开进程数
* hard nproc 32000 打开线程数
* soft memlock unlimited 内存锁定不限制
* hard memlock unlimited 内存锁定不限制
vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536 文件描述符
DefaultLimitNPROC=32000 进程数
DefaultLimitMEMLOCK=infinity 内存限制
设置好之后重启生效
reboot
重启之后可以看下有没有生效
ulimit -a
由于ES构建基于lucene, 而lucene设计强大之处在于lucene能够很好的利用操作系统内存来缓存索引数据,以提供快速的查询性能。lucene的索引文件segements是存储在单文件中的,并且不可变,对于OS来说,能够很友好地将索引文件保持在cache中,以便快速访问;因此,我们很有必要将一半的物理内存留给lucene ; 另一半的物理内存留给ES(JVM heap )。所以, 在ES内存设置方面,可以遵循以下原则:
1.当机器内存小于64G时,遵循通用的原则,50%给ES,50%留给操作系统,供lucene使用
2.当机器内存大于64G时,遵循原则:建议分配给ES分配 4~32G 的内存即可,其它内存留给操作系统,供lucene使用
vim /etc/sysctl.conf(es01和es02节点都要做)
#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)
vm.max_map_count=262144
sysctl -p
sysctl -a | grep vm.max_map_count
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200
浏览器访问 http://192.168.11.11:9200 、 http://192.168.11.12:9200 查看节点 Node1、Node2 的信息。
浏览器访问 http://192.168.11.11:9200/_cluster/health?pretty 、 http://192.168.11.12:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。
浏览器访问 http://192.168.11.11:9200/_cluster/state?pretty 检查群集状态信息。
#使用上述方式查看群集的状态对用户并不友好,可以通过安装 Elasticsearch-head 插件,可以更方便地管理群集。
Elasticsearch 在 5.0 版本后,Elasticsearch-head 插件需要作为独立服务进行安装,需要使用npm工具(NodeJS的包管理工具)安装。
安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node:是一个基于 Chrome V8 引擎的 JavaScript 运行环境。
phantomjs:是一个基于 webkit 的JavaScriptAPI,可以理解为一个隐形的浏览器,任何基于 webkit 浏览器做的事情,它都可以做到。
编译安装 node、上传软件包 node-v8.2.1.tar.gz 到/opt
#安装依赖环境
yum install gcc gcc-c++ make -y
#解压
cd /opt
tar zxf node-v8.2.1.tar.gz
#编译安装
cd node-v8.2.1/
./configure
make -j2 && make install
安装 phantomjs
上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt。
#解压
cd /opt
tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
#复制相关文件
cp phantomjs /usr/local/bin
安装 Elasticsearch-head 数据可视化工具
上传软件包 elasticsearch-head-master.zip 到/opt。
#解压软件包
cd /opt
unzip elasticsearch-head-master.zip
#安装依赖包
cd /opt/elasticsearch-head-master/
npm install
修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch
启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务
#进程会读取该目录下的 gruntfile.js 文件
#否则可能启动失败
cd /opt/elasticsearch-head-master/
npm run start &
#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100
通过 Elasticsearch-head 查看 Elasticsearch 信息
#浏览器访问
http://192.168.11.14:9100/
连接群集
#如果看到群集健康值为 green 绿色,代表群集很健康
插入索引
#通过命令插入一个测试索引,索引为 index-demo,类型为 test。
curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#浏览器访问
http://192.168.11.14:9100/
#查看索引信!(https://img-blog.csdnimg.cn/14b6ef17fff24f08ba3a8c94c67ef327.png)
息
可以看见索引默认被分片5个,并且有一个副本
#点击“数据浏览”
会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。
Logstash 一般部署在需要监控其日志的服务器。
在本案例中,Logstash 部署在 Apache 服务器上,用于收集 Apache 服务器的日志信息并发送到 Elasticsearch。
安装logstash和相关服务
安装Apahce服务(httpd)
yum -y install httpd
systemctl start httpd
安装Java环境
yum -y install java
java -version
安装logstash
上传软件包 logstash-6.7.2.rpm 到/opt目录下
#rpm安装
cd /opt
rpm -ivh logstash-6.7.2.rpm
systemctl enable logstash.service --now
#做软链接,方便使用
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
测试 Logstash,将信息写入 Elasticsearch 中
#使用 Logstash 将信息写入 Elasticsearch 中
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.11.14:9200"] } }'
输入 输出 对接
......
www.baidu.com #键入内容(标准输入)
www.sina.com.cn #键入内容(标准输入)
www.google.com #键入内容(标准输入)
#结果不在标准输出显示,而是发送至 Elasticsearch 中
修改 logstash配置文件
#修改 Logstash 配置文件,让其收集系统日志/var/log/messages,并将其输出到 elasticsearch 中。
chmod +r /var/log/messages
#让 Logstash 可以读取日志
cd /etc/logstash/conf.d/
vim system.conf
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
# ignore_older => 604800
sincedb_path => "/etc/logstash/sincedb_path/log_progress"
add_field => {
"log_hostname"=>"${
HOSTNAME}"}
}
}
output {
elasticsearch {
hosts => ["192.168.11.14:9200","192.168.11.15:9200"]
index =>"system-%{+YYYY.MM.dd}"
}
}
#配置文件详解
#输入部分
input {
file{
path =>"/var/log/messages"
type =>"system"
start_position =>"beginning"
# ignore_older => 604800
sincedb_path => "/etc/logstash/sincedb_path/log_progress"
add_field => {
"log_hostname"=>"${
HOSTNAME}"}
}
}
#path表示要收集的日志的文件位置
#type是输入ES时给结果增加一个叫type的属性字段
#start_position可以设置为beginning或者end,beginning表示从头开始读取文件,end表示读取最新的,这个要和ignore_older一起使用
#ignore_older表示了针对多久的文件进行监控,默认一天,单位为秒,可以自己定制,比如默认只读取一天内被修改的文件
#sincedb_path表示文件读取进度的记录,每行表示一个文件,每行有两个数字,第一个表示文件的inode,第二个表示文件读取到的位置(byteoffset)。默认为$HOME/.sincedb*
#add_field增加属性。这里使用了${
HOSTNAME},即本机的环境变量,如果要使用本机的环境变量,那么需要在启动命令上加--alow-env
##输出
output {
elasticsearch {
#输出到 elasticsearch
hosts => ["192.168.2.100:9200","192.168.2.102:9200"] #指定 elasticsearch 服务器的地址和端口
index =>"system-%{+YYYY.MM.dd}" #指定输出到 elasticsearch 的索引格式
}
}
#新建文件路径
mkdir /etc/logstash/sincedb_path/
touch /etc/logstash/sincedb_path/log_progress
#修改文件的属主属组
chown logstash:logstash /etc/logstash/sincedb_path/log_progress
#使用logstash启动配置文件
logstash -f system.conf
浏览器访问
http://192.168.11.14:9100/
查看索引信息
安装Kibana
#上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-6.7.2-x86_64.rpm
修改kibana主配置文件
vim /etc/kibana/kibana.yml
#2行 取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
#7行 取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
#28行 取消注释,配置es服务器的ip,如果是集群则配置该集群中master节点的ip
elasticsearch.url: ["http://192.168.11.14:9200","http://192.168.11.15:9200"]
#37行 取消注释,设置在 elasticsearch 中添加.kibana索引
kibana.index: ".kibana"
#96行 取消注释,配置kibana的日志文件路径(需手动创建),不然默认是messages里记录日志
logging.dest: /var/log/kibana.log
创建日志文件,启动 Kibana 服务
touch /var/log/kibana.log
chown kibana:kibana /var/log/kibana.log
systemctl start kibana.service
systemctl enable kibana.service
ss -natp | grep 5601
验证 Kibana
浏览器访问
http://192.168.11.14:5601
#第一次登录需要添加一个 Elasticsearch 索引
Management -> Index Pattern -> Create index pattern
Index pattern 输入:system-*
#在索引名中输入之前配置的 Output 前缀“system”
Next step -> Time Filter field name 选择 -> Create index pattern
单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示,在“Available Fields”中的“host”,然后单击 “add”按钮,可以看到按照“host”筛选后的结果
将 Apache 服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.11.14:9200","192.168.11.15:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.11.14:9200","192.168.11.15:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
cd /etc/logstash/conf.d/
/usr/share/logstash/bin/logstash -f apache_log.conf
浏览器访问 http://192.168.11.14:9100 查看索引是否创建
浏览器访问 http://192.168.11.14:5601
登录 Kibana
单击“Index Pattern -> Create Index Pattern”按钮添加索引
在索引名中输入之前配置的 Output 前缀 apache_access-*,并单击“Create”按钮。
再用相同的方法添加 apache_error-*索引。
选择“Discover”选项卡
在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引, 可以查看相应的图表及日志信息。
Server | IP | Components | System |
---|---|---|---|
Node1 | 192.168.11.14 | Elasticsearch 、 Kibana | CentOS7.4(64 位) |
Node2 | 192.168.11.15 | Elasticsearch | CentOS7.4(64 位) |
Apache | 192.168.11.13 | Logstash Apache | CentOS7.4(64 位) |
Filebeat节点 | 192.168.11.16 | Filebeat | CentOS7.4(64 位) |
安装Filebeat(Node1节点)
上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
#解压软件包
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat
修改filebeat的主配置文件(Node1节点)
cd /usr/local/filebeat
vim filebeat.yml
filebeat.inputs:
- type: log
#指定 log 类型,从日志文件中读取消息
enabled: true
paths:
- /var/log/messages
#指定监控的日志文件
- /var/log/*.log
tags: ["sys"] #设置索引标签
fields: #可以使用 fields 配置选项设置一些参数字段添加到 output 中
service_name: filebeat
log_type: syslog
from: 192.168.2.105
--------------Elasticsearch output-------------------
(全部注释掉)
----------------Logstash output---------------------
output.logstash:
hosts: ["192.168.11.13:5044"] #指定 logstash 的 IP 和端口
启动 filebeat
#启动 filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
#-e:输出到标准输出,禁用syslog/文件输出
#-c:指定配置文件
#nohup:在系统后台不挂断地运行命令,退出终端不会影响程序的运行
在 Logstash 组件所在节点上新建一个 Logstash 配置文件
cd /etc/logstash/conf.d
vim filebeat.conf
input {
beats {
port => "5044"
}
}
#filebeat发送给logstash的日志内容会放到message字段里面,logstash使用grok插件正则匹配message字段内容进行字段分割
#Kibana自带grok的正则匹配的工具:http://<your kibana IP>:5601/app/kibana#/dev_tools/grokdebugger
# %{
IPV6}|%{
IPV4} 为 logstash 自带的 IP 常量
filter {
grok {
match => ["message", "(?<remote_addr>%{IPV6}|%{IPV4})[\s\-]+\[(?<logTime>.*)\]\s+\"(?<method>\S+)\s+(?<url_path>.+)\"\s+(?<rev_code>\d+) \d+ \"(?<req_addr>.+)\" \"(?<content>.*)\""]
}
}
output {
elasticsearch {
hosts => ["192.168.11.14:9200","192.168.11.15:9200"]
index => "%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
stdout {
codec => rubydebug
}
}
#启动 logstash
logstash -f filebeat.conf
浏览器访问验证
浏览器访问 http://192.168.11.14:5601
登录 Kibana
单击“Create Index Pattern”按钮添加索引“filebeat-*”
单击 “create” 按钮创建
单击 “Discover” 按钮可查看图表信息及日志信息。
文章浏览阅读290次,点赞8次,收藏10次。1.背景介绍稀疏编码是一种用于处理稀疏数据的编码技术,其主要应用于信息传输、存储和处理等领域。稀疏数据是指数据中大部分元素为零或近似于零的数据,例如文本、图像、音频、视频等。稀疏编码的核心思想是将稀疏数据表示为非零元素和它们对应的位置信息,从而减少存储空间和计算复杂度。稀疏编码的研究起源于1990年代,随着大数据时代的到来,稀疏编码技术的应用范围和影响力不断扩大。目前,稀疏编码已经成为计算...
文章浏览阅读217次。EasyGBS - GB28181 国标方案安装使用文档下载安装包下载,正式使用需商业授权, 功能一致在线演示在线API架构图EasySIPCMSSIP 中心信令服务, 单节点, 自带一个 Redis Server, 随 EasySIPCMS 自启动, 不需要手动运行EasySIPSMSSIP 流媒体服务, 根..._easygbs-windows-2.6.0-23042316使用文档
文章浏览阅读1.2k次,点赞27次,收藏7次。2023巅峰极客 BabyURL之前AliyunCTF Bypassit I这题考查了这样一条链子:其实就是Jackson的原生反序列化利用今天复现的这题也是大同小异,一起来整一下。_原生jackson 反序列化链子
文章浏览阅读734次,点赞9次,收藏7次。微服务架构简单的说就是将单体应用进一步拆分,拆分成更小的服务,每个服务都是一个可以独立运行的项目。这么多小服务,如何管理他们?(服务治理 注册中心[服务注册 发现 剔除])这么多小服务,他们之间如何通讯?这么多小服务,客户端怎么访问他们?(网关)这么多小服务,一旦出现问题了,应该如何自处理?(容错)这么多小服务,一旦出现问题了,应该如何排错?(链路追踪)对于上面的问题,是任何一个微服务设计者都不能绕过去的,因此大部分的微服务产品都针对每一个问题提供了相应的组件来解决它们。_spring cloud
文章浏览阅读5.9k次,点赞6次,收藏20次。Js实现图片点击切换与轮播图片点击切换<!DOCTYPE html><html> <head> <meta charset="UTF-8"> <title></title> <script type="text/ja..._点击图片进行轮播图切换
文章浏览阅读10w+次,点赞245次,收藏1.5k次。在开始安装前,如果你的电脑装过tensorflow,请先把他们卸载干净,包括依赖的包(tensorflow-estimator、tensorboard、tensorflow、keras-applications、keras-preprocessing),不然后续安装了tensorflow-gpu可能会出现找不到cuda的问题。cuda、cudnn。..._tensorflow gpu版本安装
文章浏览阅读243次。0x00 简介权限滥用漏洞一般归类于逻辑问题,是指服务端功能开放过多或权限限制不严格,导致攻击者可以通过直接或间接调用的方式达到攻击效果。随着物联网时代的到来,这种漏洞已经屡见不鲜,各种漏洞组合利用也是千奇百怪、五花八门,这里总结漏洞是为了更好地应对和预防,如有不妥之处还请业内人士多多指教。0x01 背景2014年4月,在比特币飞涨的时代某网站曾经..._使用物联网漏洞的使用者
文章浏览阅读786次。A. Epipolar geometry and triangulationThe epipolar geometry mainly adopts the feature point method, such as SIFT, SURF and ORB, etc. to obtain the feature points corresponding to two frames of images. As shown in Figure 1, let the first image be and th_normalized plane coordinates
文章浏览阅读708次,点赞2次,收藏3次。开放信息抽取(OIE)系统(三)-- 第二代开放信息抽取系统(人工规则, rule-based, 先关系再实体)一.第二代开放信息抽取系统背景 第一代开放信息抽取系统(Open Information Extraction, OIE, learning-based, 自学习, 先抽取实体)通常抽取大量冗余信息,为了消除这些冗余信息,诞生了第二代开放信息抽取系统。二.第二代开放信息抽取系统历史第二代开放信息抽取系统着眼于解决第一代系统的三大问题: 大量非信息性提取(即省略关键信息的提取)、_语义角色增强的关系抽取
文章浏览阅读1.1w次,点赞6次,收藏51次。快速完成网页设计,10个顶尖响应式HTML5网页模板助你一臂之力为了寻找一个优质的网页模板,网页设计师和开发者往往可能会花上大半天的时间。不过幸运的是,现在的网页设计师和开发人员已经开始共享HTML5,Bootstrap和CSS3中的免费网页模板资源。鉴于网站模板的灵活性和强大的功能,现在广大设计师和开发者对html5网站的实际需求日益增长。为了造福大众,Mockplus的小伙伴整理了2018年最..._html欢迎页面
文章浏览阅读282次。原标题:2018全国计算机等级考试调整,一、二级都增加了考试科目全国计算机等级考试将于9月15-17日举行。在备考的最后冲刺阶段,小编为大家整理了今年新公布的全国计算机等级考试调整方案,希望对备考的小伙伴有所帮助,快随小编往下看吧!从2018年3月开始,全国计算机等级考试实施2018版考试大纲,并按新体系开考各个考试级别。具体调整内容如下:一、考试级别及科目1.一级新增“网络安全素质教育”科目(代..._计算机二级增报科目什么意思
文章浏览阅读240次。conan简单使用。_apt install conan