doina

一个小菜鸟运维工程师.

Filebear+Elasticsearch自定义多索引

服务器上有七八个不同类型的业务日志文件。在使用filebeat时,如果没有进行区分,则在收集日志时会统一建立到一个名为filebeat-6.4.2-*的索引文件中。可以正常查询,但是没有合适的分类,且不利于以后的管理。

inputb部分

- type: log
  enabled: true
  paths:
    - /data/app/logs/*/*.log
  fields:
    source: vitamin-app-log-uat
- type: log
  enabled: true
  paths:
    - /data/app/nginx/logs/new_cot_order_access.log
  fields:
    source: vitamin-nginx-log-uat

output部分

output.elasticsearch:
  hosts: ["10.208.1.11:29200"]
  indices:
    - index: vitamin-app-log-uat-%{+yyyy.MM.dd}
      when:
        contains:
          fields.source: vitamin-app-log-uat
    - index: vitamin-nginx-log-uat-%{+yyyy.MM.dd}
      when:
        contains:
          fields.source: vitamin-nginx-log-uat

重启filebeat, 然后到kibana上添加索引, 日志中需要有新请求才能在kibana中搜索到, 否则会搜索不到索引~

点赞

发表评论

电子邮件地址不会被公开。

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据