ELK日志系统部署

配置文件太多了只列出了修改项，且保证正常使用的前提，其他配项请参考官方文档：Elasticsearch官方文档-中文

路径：/etc/logstash/elasticsearch.yml

cluster.name: elastic    
node.name: node-10.15
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 192.168.10.15 
http.port: 9200
discovery.seed_hosts: ["host1"]
cluster.initial_master_nodes: ["node-10.15"]

配置完成后启动Es

systemctl start elasticsearch

检查运行状态

systemctl status elasticsearch

只列出修改的部分：没有的手动添加至尾部即可。参数的意思配置文件中有英文解释。是在不行就百度翻译吧

路径：/etc/logstash/kibana.yml

server.port: 5601

server.host: “192.168.10.15”

#此处你本机的IP

server.name: “kb-10.15”

elasticsearch.hosts: [“192.168.10.15:9200”]

#此处是Elasticsearch的地址

elasticsearch.preserveHost: true

kibana.index: “.kibana”

elasticsearch.requestTimeout: 300000

logging.dest: stdout

i18n.locale: “zh-CN”

配置完成后启动Ka

systemctl start kibana

检查运行状态

systemctl status kibana

确认启动正常后可以通过访问IP:5601来确认Kibana 是否正常，大概就是下面这个样子，但是左边导航条比我的多，只要进来这个页面就没啥问题了

最基础的logstash配置：  
路径：/etc/logstash/logstash.yml

path.data: /var/lib/logstash


http.host: “0.0.0.0”

#地址可以写你自己的本机IP

path.logs: /var/log/logstash

修改完成后进行日志处理的配置：
路径：/etc/logstash/conf.d/test.conf

#这个路径下存放的就是针对日志接收处理发送的配置了，本次只给出简单的例子。
原理：监听9600端口进行日志收集。根据判断字段内容将日志发送给Elasticsearch，并自动创建索引名字为

input {
    tcp {
        port => 9600
        type => syslog
        codec => json
    }
}

filter {

}       

output {
  if "message-10-15" in [tags]{
    elasticsearch {
      hosts => ["192.168.10.15:9200"]
      index => "message-10-15-%{+yyyy.MM.dd}"
    }
  }
}

配置完成后启动logstash：

systemctl start logstash

检查运行状态：此处可以多执行几遍因为不会马上显示运行的最终结果。或者可以去日志查看,日志路径/var/log/logstash/logstash-plain.log

systemctl status logstash

运行正常时不会有ERROR提示，切输出为

[2020-05-28T15:13:45,756][INFO ][logstash.javapipeline ] Pipeline started {"pipeline.id"=>"main"}
[2020-05-28T15:13:45,774][INFO ][logstash.inputs.tcp ] Starting tcp input listener {:address=>"0.0.0.0:9600", :ssl_enable=>"false"}
[2020-05-28T15:13:46,306][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
[2020-05-28T15:13:46,896][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9601}     

###看到类似上面输出说明启动正常了，可以进行下一步。

基本配置，收集系统日志。
路径：/etc/filebeat/filebeat.yml

filebeat.inputs:


- type: log

  enabled: true

  paths:
    - /var/log/messages     #此处配置日志路径

  tags: ["message-10-15"]     #给日志打个标签，方便后期分类
  #include_lines: ['^*ERROR', '^*WARN']
  #exclude_lines: ['^*200']
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml

  reload.enabled: true


setup.ilm.enabled: false
setup.template.enabled: false
setup.template.name: "message"
setup.template.pattern: "message-*"

setup.template.settings:
  index.number_of_shards: 1
  index.number_of_replicas: 0
  index.codec: best_compression

setup.kibana:

output.logstash:
 hosts: ["192.168.10.15:9600"]

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

配置完成后启动filebeat

systemctl start filebeat

检查状态：

systemctl status filebeat