模块资料|日志解析、聚类与异常检测

原图深度模块的结构化资料摘录,保留目标、知识、命令线索、风险、排障、练习与验收。它不是一张原子知识卡,也不是可直接执行的操作手册。

所属方向:AI Infra

目标

  • 从非结构日志提取模板并建立可评估异常检测基线。

知识拆解

  • template mining/Drain
  • session/fixed/sliding window
  • count/sequence/semantic features
  • supervised/unsupervised
  • threshold
  • concept drift

命令 / 配置 / 关键对象

以下是原图中的命令名、缩写或配置对象,并非经校验的完整命令行;其中可能含写操作。执行前必须补齐版本、权限、目标和风险。

  • LogAI
  • LogParser
  • Loglizer
  • LogHub datasets
  • precision/recall/F1

高频故障与风险

  • 模板漂移
  • 随机切分泄漏
  • 异常标签稀少
  • 告警过多
  • 新版本被当异常

排障路径

  • 先解析质量后检测
  • 按时间/系统切分
  • 按模板和版本做误差分析

实战练习

  • Drain+PCA/Isolation baseline
  • 比较序列/语义模型并做消融

验收标准

  • 强基线存在
  • 阈值基于业务成本
  • 线上漂移可发现

对应优秀开源项目

继续拆卡的规则

本页是资料入口。只在形成一个能独立解释、带依据与边界的认识后,提炼为 Concept;故障观察进入 Troubleshooting,满足诊断条件的处置进入 Runbook,真实事件进入 Incident。

来源

查看完整原图节点与备注