系统拆解 · 医路通 · 合规

合规不写进提示词,写进后处理

「你不能说确诊」这句话放在提示词里,等于没有约束。医路通里真正拦住它的,是一层跑在模型输出之后的确定性代码。

医疗问答有一条硬约束:不能替医生下诊断,不能给具体用药剂量,不能把可能性说成结论。第一版我把这些写进了系统提示词,写了整整一屏。

然后它就漏了。同一句约束,模型今天遵守得挺好,换一个问法、换一段更长的上下文,就开始说「你这个应该是缺铁性贫血」。而且它漏的时候你不一定看得出来——语气笃定,结论明确,读起来比正确答案还像答案。

概率模型不会违约,它只会降低遵守的概率。所以约束不能只放在提示词里。

做法:把禁止性表述改在输出之后

现在这段逻辑跑在模型返回之后、推给用户之前:先做一轮确定性的词句替换,再强制追加免责声明。

模型原来输出改写后
确诊为……需要由医生评估是否为……
一定是……可能为……
必须服用……是否用药需要医生评估
剂量是……具体剂量需要遵医嘱

末尾再补一句固定声明:内容仅供健康科普和就医参考,不能替代医生诊断、处方或治疗。

这套替换很粗糙,但它是确定性的:同一句输入,改出来的结果永远一样;改错了可以复现,可以补词表,可以写回归测试。这一点比「模型这次表现得不错」重要得多。

它的四个漏洞

我很清楚这层替换不聪明,具体漏在哪儿:

  • 同义绕开:说「基本可以确定是」,词表里的四个词一个都没命中。
  • 误伤:用户自己说「我确诊为糖尿病」,模型复述时也会被改,读起来别扭。
  • 只管中文句式:换成英文、缩写、或把结论藏在列表里,替换就失效。
  • 事后而非事前:它改的是措辞,改不了已经跑偏的推理——如果模型把症状归错了系统,改写只让错误变得更委婉。

所以它是护栏,不是判断。护栏的作用是把「明显越界」压到零,剩下的边界问题得靠证据链和评测。

另一半:风险分层只做提示,不做决策

项目里还有一层关键词风险分层:命中「胸痛」「意识不清」「呕血」这类词,标为高风险;命中「发热」「持续」「头痛」标为中风险。这套规则的结果会进入上下文,但标签上写着「仅作参考」。

我纠结过要不要让它直接决定输出——高风险就跳过模型,直接给「立即就医」。最后没这么做,理由有两个:

  • 关键词匹配会漏。用户说「胸口像被压着」,词表里没有「胸痛」,但这是心梗的典型描述。让一个会漏的规则拥有否决权,风险更大。
  • 关键词匹配会误伤。「没有胸痛,就是有点反酸」同样命中「胸痛」,可能把一次普通咨询推向急救建议。

所以现在的分工是:模型负责综合判断,规则负责提供提示和兜底改写。这不是最优解,是把「谁出错更可控」权衡之后的结果——模型漏了,规则可能补上;规则误判了,模型还有机会纠正。

如果继续做

顺序应该是这样,不能跳步:

  • 先建一个 200 条左右的评测集,覆盖越界表述、否定句、同义表述三类,把现在这层的召回率测出来。没有这个数字,后面所有改进都是猜。
  • 再补否定检测(「没有」「不是」「排除」),这一条同时改善风险分层的误判。
  • 最后才考虑把改写升级成语义层面的判定,比如用小模型做一次「这句话是否越界」的分类,而不是字符串替换。

一句总结

医疗场景里,「模型说了什么」和「用户看到了什么」应该是两个可分离的环节。把合规放在这两个环节之间,比放在提示词里可靠——因为提示词只能提高概率,后处理可以保证结果。