雪藏论文作弊检测工具引争议，知情人士透露一年前就已完成研发

在人工智能快速发展的今天，OpenAI这家走在AI前沿的公司正面临着一个棘手的难题。

据报道，OpenAI早已开发了一种可以可靠检测论文是否由ChatGPT撰写的工具。

然而，尽管学术界对AI作弊的担忧日益加剧，该公司却迟迟没有发布这一工具，甚至有一种雪藏之意。

知情人士透露，这个反作弊工具项目在OpenAI内部已经讨论了约两年之久，而且它在一年之前就已经准备好发布了。一位内部人士甚至表示：“发布它只是按一下按钮的事。”

可是，这个看似简单的决定背后，却隐藏着复杂的考量和激烈的内部辩论。

OpenAI员工在做决策时，不得不在公司宣称的透明承诺和吸引、留住用户的愿望之间权衡。公司对忠实的ChatGPT用户进行的一项调查结果更是加剧了这种矛盾。

调查发现，近三分之一的用户表示，如果引入反作弊技术，他们可能会对ChatGPT失去兴趣。这一发现无疑给公司的决策带来了巨大压力。

对此，OpenAI的发言人表示，公司担心该工具可能会不成比例地影响某些群体，特别是非英语母语者。

她说：“我们正在开发的文本水印方法在技术上很有前景，但存在风险，我们正在权衡这些风险，同时研究替代方案。

鉴于所涉及的复杂性及其可能对OpenAI之外的更广泛生态系统产生的影响，我们认为我们采取的审慎方法是必要的。”

然而，支持发布该工具的员工，包括参与开发的人员，在内部表示这些顾虑与该技术可能带来的好处相比微不足道。他们认为，在当前的形势下，这种工具的积极作用远远超过了潜在的负面影响。

事实上，生成式AI技术的快速发展已经给教育界带来了巨大的挑战。

ChatGPT等工具可以在几秒钟内根据简单的提示创建一篇完整的论文，而且是免费的。这使得老师和教授们迫切需要技术上的帮助来打击这种滥用行为。

最近的一项调查发现，59%的初高中教师确信有些学生使用AI来协助完成学校作业，这一比例比上一学年增加了17个百分点。

OpenAICEO山姆·奥特曼（SamAltman）和首席技术官米拉·穆拉蒂（MiraMurati）都参与了关于反作弊工具的讨论。据知情人士透露，奥特曼鼓励这个项目，但并没有推动其发布。

（来源：资料图）这个备受争议的反作弊工具是如何工作的呢？

ChatGPT的运作基于一个AI系统，该系统会预测句子中下一个单词或token应该是什么（的概率最大），而OpenAI尚未发布的反作弊工具会稍微改变token的选择方式，这些改变会留下一种“水印”。

人眼无法察觉这些水印，但OpenAI的检测技术可以捕捉它们。检测器会给出整个文档或其中一部分由ChatGPT撰写的可能性得分。

根据内部文件，当ChatGPT创建足够多的新文本时，该水印技术的有效性达到了99.9%。

然而，OpenAI的员工也提出了一些关切。他们担心这些水印可能会被一些简单的手段抹去，比如使用谷歌翻译将文本翻译成另一种语言然后再翻译回来，或者让ChatGPT在文本中添加表情符号然后手动删除它们。

公司内部普遍认为，确定谁可以使用这个检测器将是一个挑战。如果使用者太少，这个工具就没有用处，可如果太多人使用，不法分子可能会破解公司的水印技术。

OpenAI在2023年1月发布了一种算法，旨在检测包括自家ChatGPT在内的几个AI模型写的内容。但该算法的成功率只有26%，OpenAI在七个月后就将其撤下。

目前，有一些由外部公司和研究人员开发的工具可以检测AI创建的文本，许多教师表示他们已经使用过这些工具。但这些工具有时无法检测到由先进的模型写出的东西，而且产生误报的概率很高。

与此同时，雪藏论文作弊检测工具引争议，知情人士透露一年前就已完成研发OpenAI还面临着外部的监管压力，要求其证明自身并未隐瞒AI风险。

这一压力源于举报人向美国证券交易委员会举报称，OpenAI的保密协议涉嫌非法阻止员工向立法者披露重大安全隐患。

在这一背景下，已有美国国会议员要求OpenAI提供当前的雇佣、离职和保密协议，以向国会保证这些合同不会阻碍披露。

一些立法者认为，这一点至关重要，因为只有依靠举报人揭露新兴威胁，才能制定有效的AI政策，在技术进步的同时防范存在性AI风险。

据透露，已有议员两次要求提供这些记录，但OpenAI至今未作回应。

不过，奥特曼在社交平台X上表示，该公司已采取措施提高透明度，包括“与美国AI安全研究所就一项协议展开合作，我们将提供对下一个基础模型的早期访问权，以便我们能够共同推进AI评估科学的发展”。

他还表示，OpenAI希望“现任和前任员工能够提出关切，并且不会感到不舒服”。

随着AI技术继续快速发展，类似的伦理、实践问题可能会越来越多。因此，OpenAI的应对方法及其遭遇的压力，很可能成为未来AI领域的先例。

参考资料：

https://www.wsj.com/tech/ai/openai-tool-chatgpt-cheating-writing-135b755a?st=ejj4hy2haouysas&reflink=desktopwebshare_permalink

https://arstechnica.com/tech-policy/2024/08/sam-altman-accused-of-being-shady-about-openais-safety-efforts/

运营/排版：何晨龙