系统拆解 · 医路通 · 合规
合规不写进提示词,写进后处理
「你不能说确诊」这句话放在提示词里,等于没有约束。医路通里真正拦住它的,是一层跑在模型输出之后的确定性代码。
医疗问答有一条硬约束:不能替医生下诊断,不能给具体用药剂量,不能把可能性说成结论。第一版我把这些写进了系统提示词,写了整整一屏。
然后它就漏了。同一句约束,模型今天遵守得挺好,换一个问法、换一段更长的上下文,就开始说「你这个应该是缺铁性贫血」。而且它漏的时候你不一定看得出来——语气笃定,结论明确,读起来比正确答案还像答案。
概率模型不会违约,它只会降低遵守的概率。所以约束不能只放在提示词里。
做法:把禁止性表述改在输出之后
现在这段逻辑跑在模型返回之后、推给用户之前:先做一轮确定性的词句替换,再强制追加免责声明。
| 模型原来输出 | 改写后 |
|---|---|
| 确诊为…… | 需要由医生评估是否为…… |
| 一定是…… | 可能为…… |
| 必须服用…… | 是否用药需要医生评估 |
| 剂量是…… | 具体剂量需要遵医嘱 |
末尾再补一句固定声明:内容仅供健康科普和就医参考,不能替代医生诊断、处方或治疗。
这套替换很粗糙,但它是确定性的:同一句输入,改出来的结果永远一样;改错了可以复现,可以补词表,可以写回归测试。这一点比「模型这次表现得不错」重要得多。
它的四个漏洞
我很清楚这层替换不聪明,具体漏在哪儿:
- 同义绕开:说「基本可以确定是」,词表里的四个词一个都没命中。
- 误伤:用户自己说「我确诊为糖尿病」,模型复述时也会被改,读起来别扭。
- 只管中文句式:换成英文、缩写、或把结论藏在列表里,替换就失效。
- 事后而非事前:它改的是措辞,改不了已经跑偏的推理——如果模型把症状归错了系统,改写只让错误变得更委婉。
所以它是护栏,不是判断。护栏的作用是把「明显越界」压到零,剩下的边界问题得靠证据链和评测。
另一半:风险分层只做提示,不做决策
项目里还有一层关键词风险分层:命中「胸痛」「意识不清」「呕血」这类词,标为高风险;命中「发热」「持续」「头痛」标为中风险。这套规则的结果会进入上下文,但标签上写着「仅作参考」。
我纠结过要不要让它直接决定输出——高风险就跳过模型,直接给「立即就医」。最后没这么做,理由有两个:
- 关键词匹配会漏。用户说「胸口像被压着」,词表里没有「胸痛」,但这是心梗的典型描述。让一个会漏的规则拥有否决权,风险更大。
- 关键词匹配会误伤。「没有胸痛,就是有点反酸」同样命中「胸痛」,可能把一次普通咨询推向急救建议。
所以现在的分工是:模型负责综合判断,规则负责提供提示和兜底改写。这不是最优解,是把「谁出错更可控」权衡之后的结果——模型漏了,规则可能补上;规则误判了,模型还有机会纠正。
如果继续做
顺序应该是这样,不能跳步:
- 先建一个 200 条左右的评测集,覆盖越界表述、否定句、同义表述三类,把现在这层的召回率测出来。没有这个数字,后面所有改进都是猜。
- 再补否定检测(「没有」「不是」「排除」),这一条同时改善风险分层的误判。
- 最后才考虑把改写升级成语义层面的判定,比如用小模型做一次「这句话是否越界」的分类,而不是字符串替换。
一句总结
医疗场景里,「模型说了什么」和「用户看到了什么」应该是两个可分离的环节。把合规放在这两个环节之间,比放在提示词里可靠——因为提示词只能提高概率,后处理可以保证结果。