20260531 Agent需要学会说「不知道」

模型从根上就没有被教育过「诚实放弃」的价值

剑飞
1/1420260531 Agent需要学会说「不知道」

让想法成结构

」你问一个建筑结构工程师「这面墙能不能拆

语言先变成材料
材料再形成结构
结构最后推动行动
2/1420260531 Agent需要学会说「不知道」

有一套天然的处理机制

人类的专家在面对不确定的问题时有一套天然的处理机制 承认边界诚实告知 然后转向可以做的事
3/1420260531 Agent需要学会说「不知道」

大多数没有这个机制

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“大多数没有这个机制”落到一个具体项目里看结果
4/1420260531 Agent需要学会说「不知道」

「我没有 X 的内部数据

命题先说清本页判断
解释补足为什么
行动留下下一步
把“「我没有 X 的内”落到一个具体项目里看结果
5/1420260531 Agent需要学会说「不知道」

不是模型的 bug

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“不是模型的 bug”落到一个具体项目里看结果
6/1420260531 Agent需要学会说「不知道」

两股力量叠加在一起

这和人被逼到墙角时胡乱找借口本质上是一样的行为模式

命题先说清本页判断
解释补足为什么
行动留下下一步
7/1420260531 Agent需要学会说「不知道」

让我们拆解一下 agent

让我们拆解一下 agent 为什么总爱瞎猜 原因有三层
8/1420260531 Agent需要学会说「不知道」

第一层是训练目标

语言模型的训练目标是「最大化下一个token 的似然」 换句话说模型被训练成「在任何情况下都要输出一

命题先说清本页判断
解释补足为什么
行动留下下一步
9/1420260531 Agent需要学会说「不知道」

「不能以『不知道』结尾

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“「不能以『不知道』”落到一个具体项目里看结果
10/1420260531 Agent需要学会说「不知道」

第三层是评价体系的缺失

开发者通常用回答的流畅度 相关性有用性来评价 agent但几乎没有人用「在不确定的情况下是否
11/1420260531 Agent需要学会说「不知道」

因为有三重门槛没有跨越

01命题

先说清本页判断

02解释

补足为什么

03行动

留下下一步

把“因为有三重门槛没有”落到一个具体项目里看结果
12/1420260531 Agent需要学会说「不知道」

带走四步

找项目

从真实任务开始

出材料

把想法变成可处理内容

做交付

用结果判断能力

可复用

把完成沉淀为流程

13/1420260531 Agent需要学会说「不知道」

让能力长出来

模型从根上就没有被教育过「诚实放弃」的价值

返回原文
上一篇没有更多文章下一篇没有更多文章