上一讲我们说,鉴定器不读内容,只数特征。那它数的第一个特征是什么?
答案是两个听起来很唬人、其实很朴素的指标:困惑度和突发性。几乎所有 AI 文本检测工具,不管包装成什么样,底下都站着这两个数。
一、困惑度:下一个字有多好猜
先玩个游戏。我给你一句话的前半段,你猜下一个字:
今天天气很____
大部分人会猜"好"或者"热"。这种"很好猜"的状态,就是低困惑度——模型看到前面几个字,对下一个字非常有把握。
再看这个:
他把那盆养了七年的仙人掌,连同窗台上那道晒褪色的胶带印一起,____
这下难猜了。可能是"搬走了",可能是"扔了",也可能是"留给了房东"。可选项太多,模型"困惑"了——这就是高困惑度。
困惑度 = 模型看到上文后的"意外程度"。越意外,分数越高;越像套话,分数越低。
二、为什么 AI 的困惑度普遍偏低
大模型的本质,就是一个"预测下一个字"的机器。训练目标是:在海量人类文本上,把"下一个字是什么"猜得越准越好。
这个目标有个副作用:它天然偏爱概率最高的那条路。你让它写"今天天气很",它心里的候选表里"好"排第一,它就很大概率选"好"。人类作者不一样,人偶尔会故意绕开第一反应,去选那个更怪但更有味道的词。
于是 AI 写出来的句子,在另一个模型眼里"太好猜了"——每个字都落在预测区间里,几乎没有意外。这就像听一个人讲话,他每句话都在你预料之中,你会觉得"这人说话怎么这么没惊喜"。
"困惑度低 = AI 写的"并不成立。教材、新闻通稿、产品说明书的困惑度也很低,因为它们的写作目标本来就是"清楚、不出错"。所以困惑度只能做线索,不能做证据。
三、突发性:节奏的起伏程度
光看困惑度还不够。人会写出这样的段落:
他推开门。屋子里空了。三年攒下的东西,一件都没带走,连那只总掉毛的猫也没留下。
短句、短句,然后一个长句。这种忽长忽短、忽快忽慢的节奏,就是突发性高。
AI 写同样的场景,更可能变成:
他推开门后发现屋子里已经空了,三年来积攒的所有物品都没有被带走,甚至连那只经常掉毛的猫也不见了踪影。
信息一模一样,但节奏被抹平了:三个句子长度接近,语气均匀,没有一个"停一下"的地方。AI 倾向于保持稳定的句式和句长——因为稳定在训练中往往意味着"更安全"。人写作时那种情绪驱动的忽快忽慢,它模仿得还不够自然。
突发性怎么算
思路很直观:把每个句子的长度(或者困惑度)记下来,算这一串数字的波动程度。波动大 → 突发性高 → 更像人;波动小 → 突发性低 → 更像机器。统计上常用方差或变异系数来衡量。
你甚至可以自己感受:随便打开一篇公众号爆文,句子长度是跳的;再打开一份 AI 生成的总结,句子长度是齐的。
四、两个指标怎么一起用
单独用都会误判,合起来才有点意思:
- 低困惑度 + 低突发性:又顺又平。典型的 AI 生成文本,也是最常见的组合。
- 高困惑度 + 高突发性:又难猜又跳。典型的人类写作,尤其是个人化的、带情绪的表达。
- 低困惑度 + 高突发性:用词常见但节奏很跳。可能是口语化的真人写作,也可能是模仿得很像的 AI。
- 高困惑度 + 低突发性:用词生僻但节奏死板。翻译腔、学术八股文经常长这样——这也是误判的高发区。
看到没,真正干净利落的只有前两种情况,后两种都含糊。这就是为什么鉴定器必须再叠加第一讲里说的那些"语言习惯"特征,光靠这两个数不够。
五、这套方法正在失效吗
说实话,是的,在慢慢失效。原因有三:
- 模型越来越会"演"。新模型会在训练中专门学人类的节奏,甚至刻意制造"不完美"。
- 采样参数一调就变。所谓"温度"(temperature)调高,模型就更敢选低概率的词,困惑度立刻上去了。下一讲专门讲这个开关。
- 改写工具遍地都是。把 AI 稿丢进"降 AI 味"工具跑一遍,困惑度和突发性会被重新搅乱,这套指标就很难抓了。
不要指望任何工具给出"确定是 AI"的结论。合理的用法是:把结果当成一个需要进一步追问的信号——分数高,就去问问作者写作过程、看看有没有草稿和版本记录,而不是直接定性。
小结
- 困惑度:下一个字好不好猜。AI 偏低,但公文、说明书也偏低。
- 突发性:节奏起伏大不大。AI 偏低,人偏高。
- 两个一起看才有效,而且它们正在被新模型逐渐"骗过去"。
那 AI 为什么非得这么"平"?是它写不好吗?不是——是它身上有个叫"温度"的旋钮在控制这件事。下一讲揭开它。