bigpigeon
V2EX  ›  问与答

k8s 的日志收集有什么推荐的方案吗

  •  
  •   bigpigeon · Mar 9, 2020 · 2914 views
    This topic created in 2282 days ago, the information mentioned may be changed or developed.
    目前我们用的是 filebeat 直接到 elasticsearch 的方案

    但 filebeat 的多行匹配规则非常难用,而且 include_lines/exclude_lines 这些正则匹配很难 debug

    我想看看有什么其他的收集方案试试
    6 replies    2020-11-06 15:34:28 +08:00
    Illusionary
        1
    Illusionary  
       Mar 9, 2020
    我也是 efk 方案,多行匹配就是简单粗暴的时间戳开头就为新一行日志
    optional
        2
    optional  
       Mar 9, 2020
    多行匹配一直是问题, 因为 buffer 的问题, 经常会被下一条日志截断
    zhoudaiyu
        3
    zhoudaiyu  
    PRO
       Mar 9, 2020
    fluentd kafka es kibana 我们用的这种
    lqy2575395
        4
    lqy2575395  
       Mar 10, 2020
    @Illusionary 我们也是这样,你们日志有做字段拆分吗
    Goodboy008
        5
    Goodboy008  
       Sep 1, 2020
    @lqy2575395 如何做到不同应用拆分打 tag ?
    lqy2575395
        6
    lqy2575395  
       Nov 6, 2020
    @aidengongzhongqi 有个 @tag 的配置加一下就可以了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1163 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 18:25 · PVG 02:25 · LAX 11:25 · JFK 14:25
    ♥ Do have faith in what you're doing.