一、把指标连到业务动作
登录成功率下降可能需要检查依赖服务;任务积压可能需要暂停消费或扩容。指标若无法连到处置流程,值班人员仍要临时猜测。
同一问题选择一个主要指标和少量辅助指标,减少大屏上的重复信号。
- 每个指标都对应一个明确的处置动作,看到数字才知道该做什么
- 主指标保持少而稳定,指标口径不随人和时间的变化而漂移
- 指标来源可以追溯到具体的采集点,争议时能回到原始数据核对
- 异常阈值事先与相关方约定,判断标准不依赖事后解释
- 每一块看板对应一个具体问题,没有对应问题的看板不予保留
二、为告警设置生命周期
告警需要负责人、严重级别、通知渠道、静默规则和关闭条件。长期无人处理的告警会逐渐失去可信度。
定期回看误报与漏报,删除不会改变行为的提醒,保留真正能帮助决策的信号。
- 每条告警都有明确的负责人,接到的第一时间知道该谁处理
- 静默时间与关闭条件有统一规则,避免告警被随手关掉后无人知晓
- 长期没有触发的无效告警会被清理,减少真正的告警被淹没
- 误报与漏报定期复盘,规则本身也在持续修正而不是一成不变
三、先在一张纸上决定看什么
在接入监控工具之前,先在纸上列出一周内真正需要回答的问题,通常不超过五个。工具上的每一个指标都应当对应其中一个问题,否则它只是装饰。
问题数量少,团队才会养成查看的习惯。指标过多时,多数看板在第一次上线之后就无人问津。
- 在纸上先写下需要回答的问题,再决定要做哪些图表
- 问题数量控制在五个以内,太多问题会让看板失去重点
- 每个指标都能追溯到它要回答的那一个问题,指标不会凭空增加
- 长期无人查看的看板及时下线,避免维护成本和误导风险同时累积