一、先区分「建议」与「决定」
生成一段文案、整理一份摘要、推荐下一步,都属于给人参考的建议;自动改权限、扣款、删除数据则属于会直接改变状态的决定。两类任务需要不同的审批、日志与回退机制。
项目开始时先画出动作清单,并标出哪些动作必须由人确认。这个判断会直接影响模型、接口与权限设计。
- 模型给出的建议由人阅读后再决定是否采纳,本身不直接改变任何业务状态
- 涉及权限、扣款与删除的动作,必须经过人工确认环节才会真正执行
- 每次状态变化都写入可查询的日志,可以还原是谁在何时触发了什么
- 触发失败条件后系统自动停下,交给指定的人处理而不是静默重试
二、用一组固定用例代替感觉
挑选正常、边界和已知失败样本,形成可以重复运行的小用例集。模型、提示词或知识来源变化后重新运行,才能知道改动是改进还是破坏。
评估不需要一开始就很复杂,但必须从第一天保留。没有基线,就无法解释一次优化是否值得上线。
- 挑选一组典型输入作为固定用例,每次改动后都能一键重跑并得到同样结果
- 已经验证过的失败案例长期保留在用例集中,避免同类问题被重复发现
- 模型或提示词调整前后的结果同时存档,改进与退化一眼可以分辨
- 用例不只覆盖顺利路径,还要包括超时、缺字段与格式异常等边界输入
三、把回退方案写进上线清单
模型输出不稳定是常态而不是意外。与其假设它每次都对,不如提前设计人工接管的路径:什么情况下停止自动执行、谁来接手、接手之后怎样把结果补回系统。
上线清单里应该同时写明两件事:模型在哪些范围内可信,以及模型出错时系统如何停下来。两项都写清楚,团队才不会在第一次线上事故时临时争论责任。
- 上线前明确写出哪些情况算失败,以及失败之后系统应该停在什么状态
- 每条失败路径都指定具体负责人,避免事故发生时找不到该由谁处理
- 回退步骤与上线步骤写在同一份清单里,任何时候都可以照着执行
- 先在少量流量上运行,效果不符合预期时能立即把影响范围收窄