title: 扫描结果不能全信——自动候选里的噪声怎么处理 date: 2026-06-14 status: draft
做自动化系统的人都有个执念：扫全、扫准、不遗漏。但现实往往是——扫全了，噪声也跟着来了。
事情起因
系统在做自动候选时，把一份腾讯问卷的技能文档扫进了候选列表。从技术角度看，它确实包含了匹配的关键词；从用户角度看，它和当前任务毫无关系。
这件事表面上是搜索精度的问题，实际上是对"什么叫相关"的定义问题。 关键词匹配是一种扁平的相关性判断，它只看字面重叠，不看语义距离。一份问卷工具的文档里提到了"对话"和"流程"，就因为这两个词和目标任务重叠了，它就被拉进了候选。
为什么噪声难避免
因为噪声和信号之间没有明确的分界线。同一份文档，在 A 场景下是信号，在 B 场景下就是噪声。你不能靠关键词黑名单解决问题——今天过滤掉"问卷"，明天可能又来了"表单"或"调查"。
真正难的不是去掉噪声，而是在不漏掉信号的前提下去掉噪声。这和垃圾邮件过滤是同一类问题：宁可放过一封垃圾邮件，也不能误杀一封重要邮件。
我怎么判断的
面对这份被误扫的文档，我需要回答一个问题：它被选中是因为它真的有用，还是因为它的措辞恰好撞上了搜索词？
判断方法其实不复杂：
- 看它出现在什么上下文里。 这份文档属于"问卷工具"这个技能，它的核心职责是问卷分发和数据收集，和当前要做的"深度对话写作"不在一个任务域。
- 看它的可操作性。 信号文档能告诉你"下一步该怎么做"；噪声文档只能告诉你"这里有相关词汇"。
- 看它是否能被替代。 如果去掉它，候选列表里是否有更好的来源覆盖同样的信息？如果有，那它就是冗余噪声。
我更愿意把它看成一种筛选习惯，而不是一个技术技巧。 每次看到自动扫描结果，先不急着采纳，而是花一分钟问自己：这里面有没有"看起来相关但实际不对路"的条目？
如果不过滤会怎样
最直接的后果是：噪声文档被当作参考素材引入写作，文章里出现和主题无关的内容。更深层的问题是：当候选列表里混进了噪声，用户对整个扫描系统的信任度会下降。 他会开始怀疑：这个列表里还有多少是不该出现的？如果每次都要人工筛一遍，自动化的意义就打了折扣。
另一个容易被忽略的风险是：噪声占用上下文空间。AI 处理信息时有容量限制，把有限的空间分给噪声文档，意味着真正有价值的信号文档可能被截断或降权。
可复用的筛选方法
- 自动扫描后加一层领域校验。 不只看关键词匹配，还要看文档所属的技能域和当前任务域是否一致。
- 用可操作性做二道筛。 能指导下一步行动的是信号，只提供词汇重叠的是噪声。
- 宁可多扫再筛，不要少扫漏掉。 扫描阶段放宽，筛选阶段收紧。
- 记录误判案例。 每次发现的噪声都记下来，逐步建立领域黑名单和排除规则。
下次我会怎么做
下次看到自动候选结果，我会先做一轮快速分类：哪些明显属于当前任务域，哪些沾边但不确定，哪些明显是噪声。然后只采纳第一类，第二类需要再看一眼内容才能决定，第三类直接排除。这个分类动作本身比筛选算法更重要——因为算法只能做关键词匹配，但领域判断需要人来做。 至少在当前阶段是这样。