告警疲劳监控系统的信噪比设计

告警的价值不取决于发了多少条而取决于收到的人是否还愿意看

剑飞
1/14告警疲劳 监控系统的信噪比设计

而是监控已经失效

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“而是监控已经失效”落到一个具体项目里看结果
2/14告警疲劳 监控系统的信噪比设计

给每个指标都挂上阈值

系统上线初期团队本着"宁可多报不可漏报"的心态给每个指标都挂上阈值 CPU超过7
3/14告警疲劳 监控系统的信噪比设计

然后系统规模变大

大部分告警指向的是不需要立即处理的状态——CPU冲高两分钟又回落某个边缘接口偶发超时 夜间批处理任务

命题先说清本页判断
解释补足为什么
行动留下下一步
4/14告警疲劳 监控系统的信噪比设计

告警系统在形式上仍在运转

命题先说清本页判断
解释补足为什么
行动留下下一步
把“告警系统在形式上仍”落到一个具体项目里看结果
5/14告警疲劳 监控系统的信噪比设计

指标是系统状态的记录

混淆这两者是疲劳的根源——把应该躺在仪表盘里的东西推送到了人的面前

把“指标是系统状态的记录”落到一个具体项目里看结果
6/14告警疲劳 监控系统的信噪比设计

收到它的人需要立即做什么

判断一条告警该不该存在只需要一个问题收到它的人需要立即做什么

命题先说清本页判断
解释补足为什么
行动留下下一步
7/14告警疲劳 监控系统的信噪比设计

由此推出告警设计的方向性转变

用户已经受影响的问题 一条都不能漏
8/14告警疲劳 监控系统的信噪比设计

用同一种方式推送

把所有告警塞进同一个通道用同一种方式推送等于宣布所有问题同等重要——而"全都

命题先说清本页判断
解释补足为什么
行动留下下一步
9/14告警疲劳 监控系统的信噪比设计

告警至少要分三级

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“告警至少要分三级”落到一个具体项目里看结果
10/14告警疲劳 监控系统的信噪比设计

推送通道也要随之分开

分级之后 推送通道也要随之分开最高级走独立的强提醒通道绝不和普通消息混在同一个群里——否则
11/14告警疲劳 监控系统的信噪比设计

并回答"为什么它配这个级别"

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“并回答"为什么它配”落到一个具体项目里看结果
12/14告警疲劳 监控系统的信噪比设计

带走四步

找项目

从真实任务开始

出材料

把想法变成可处理内容

做交付

用结果判断能力

可复用

把完成沉淀为流程

13/14告警疲劳 监控系统的信噪比设计

让能力长出来

告警的价值不取决于发了多少条而取决于收到的人是否还愿意看

返回原文
上一篇没有更多文章下一篇没有更多文章