Filebear+Elasticsearch自定义多索引

2019年3月20日 0条评论 1,122次阅读 0人点赞

服务器上有七八个不同类型的业务日志文件。在使用filebeat时，如果没有进行区分，则在收集日志时会统一建立到一个名为filebeat-6.4.2-*的索引文件中。可以正常查询，但是没有合适的分类，且不利于以后的管理。

inputb部分

- type: log
  enabled: true
  paths:
    - /data/app/logs/*/*.log
  fields:
    source: vitamin-app-log-uat
- type: log
  enabled: true
  paths:
    - /data/app/nginx/logs/new_cot_order_access.log
  fields:
    source: vitamin-nginx-log-uat

output部分

output.elasticsearch:
  hosts: ["10.208.1.11:29200"]
  indices:
    - index: vitamin-app-log-uat-%{+yyyy.MM.dd}
      when:
        contains:
          fields.source: vitamin-app-log-uat
    - index: vitamin-nginx-log-uat-%{+yyyy.MM.dd}
      when:
        contains:
          fields.source: vitamin-nginx-log-uat