近日,一篇经典散文在网络上引发广泛讨论。朱自清的《荷塘月色》被某AI检测工具判定为AI生成概率超过60%,这一结果迅速登上热搜榜,持续引发网友热议。评论区中,有人戏称自己的论文AI率高达80%,质疑检测工具的准确性;也有人指出同一篇文章在不同平台查出的AI率差异巨大,甚至相差30%。
针对这一现象,记者采访了西湖大学文本智能实验室的鲍光胜博士。他表示,公众对AI率存在普遍误解。检测结果中的60%并非指文章中有60%的内容由AI撰写,而是指该文章有60%的概率整体由AI生成。目前的技术无法精确识别具体哪些字句出自AI之手,因为人类与AI在微观层面的表达差异极小。
鲍光胜解释道,AI检测工具主要通过宏观层面的统计特征进行判断。例如,AI在用词方面往往有固定偏好,某些冷门词汇的出现频率若显著高于人类平均水平,就会成为检测信号。他举例称,大模型在撰写英语学术论文时,单词"delve"的使用频率会异常升高,这便可作为判断依据之一。但这种特征需要文章中反复出现可检测的信号,因此对于短文本的判断准确性较低,通常500字以上的文本结果更为可靠。
关于《荷塘月色》被误判的原因,鲍光胜指出,经典文本因被广泛用于训练大模型,反而更容易被误判。AI检测的基本原理是对比文章用词、词频分布与模型预测的一致性。当检测工具遇到模型训练阶段已"学习"过的经典文本时,这种一致性会异常升高,导致误判为AI生成。
对于不同平台检测结果差异大的问题,鲍光胜认为这完全正常。市面上各类检测工具采用的算法各不相同,有的侧重词频分析,有的关注语法结构,还有的考察语义特征。因此,同一篇文章在不同平台出现30%的检测结果差异并不奇怪。他特别提到,部分平台既提供AI生成论文服务,又出售降AI率工具,这种现象本质上是技术攻防的体现。
降AI率的技术原理并不复杂,主要是通过替换检测工具关注的特征词汇来实现。例如,将高频使用的特定词汇替换为同义词,在保持原意的同时规避检测。鲍光胜建议,保持独特的写作风格是降低误判的有效方式,因为AI主要模仿人类写作的共性特征,个性化表达反而难以被识别。
鲍光胜所在的实验室研发了Fast-DetectGPT检测工具,相关成果已发表于国际会议ICLR 2024。他坦言,AI检测领域将长期处于技术攻防状态。随着大模型能力的不断提升,检测技术也需要持续升级,这种博弈将是一个动态过程。他强调,任何AI检测工具给出的结果都只是概率性判断,存在误判可能,这一观念需要被公众正确理解。






