離了個(gè)大譜！

最近，一位美國(guó)教授為了解決學(xué)生用AI作弊的問(wèn)題，決定用「魔法」打敗「魔法」。

但完全沒(méi)搞懂原理的他，在「查重」時(shí)竟然用的是ChatGPT。

于是，同學(xué)們辛辛苦苦碼出的畢業(yè)論文，通通被胡說(shuō)八道的ChatGPT判定為「抄襲」。

而教授不僅據(jù)此掛掉了半個(gè)班的人，學(xué)校也拒發(fā)畢業(yè)證……

甚至，這件事直接火到了大洋彼岸，一度登上了微博的熱搜。

教授：被ChatGPT認(rèn)領(lǐng)的，都得0分

前段時(shí)間，在得克薩斯農(nóng)工大學(xué)（Texas A&M），發(fā)生了這樣一件令人哭笑不得的事。

為了檢測(cè)學(xué)生提交的論文是否作弊，一位名叫Jared Mumm的教授把他們的論文提交給了ChatGPT。

他對(duì)學(xué)生們說(shuō)：我會(huì)把你們的論文復(fù)制粘貼到ChatGPT中，它會(huì)告訴我，你們的論文是不是它生成的。

「我會(huì)在兩個(gè)不同的時(shí)間段里，把每個(gè)人的最后三篇論文放進(jìn)去，如果這兩次它們都被ChatGTP認(rèn)領(lǐng)了，我就會(huì)給你0分?！?/span>

顯然，沒(méi)有任何計(jì)算機(jī)相關(guān)背景知識(shí)的Mumm教授，對(duì)ChatGPT的原理一竅不通。

實(shí)際上，ChatGPT并不能識(shí)別由AI創(chuàng)建的內(nèi)容，即使是它自己寫(xiě)的都不行。

甚至，他連ChatGPT都沒(méi)拼對(duì)——直接寫(xiě)成了「Chat GPT」以及「chat GPT」。

結(jié)果，全班有一多半人的論文被ChatGPT不負(fù)責(zé)任地「認(rèn)領(lǐng)」，因而掛了這一科。

更倒霉的是，大多數(shù)已畢業(yè)學(xué)生的文憑，因此直接被學(xué)校拒發(fā)了。

當(dāng)然，Mumm教授也不是毫不留情，他為全班同學(xué)提供了重做作業(yè)的機(jī)會(huì)。

如何證明自己沒(méi)用ChatGPT？

收到上面這封郵件后，幾名學(xué)生寫(xiě)信給Mumm力證自己的清白。他們提供了帶有時(shí)間戳的Google Docs，來(lái)證明自己并沒(méi)有使用ChatGPT。

但Mumm教授直接無(wú)視了這些電子郵件，只在幾個(gè)學(xué)生的評(píng)分軟件中留下了這樣的回應(yīng)——我不給AI生成的「shit」評(píng)分。

不過(guò)，還是有學(xué)生「平反」了，據(jù)說(shuō)，已經(jīng)有一名學(xué)生被「無(wú)罪釋放」，并且得到了Mumm的道歉。

然而，讓情況更復(fù)雜的事，有兩名學(xué)生「挺身而出」，承認(rèn)自己的確在本學(xué)期使用過(guò)ChatGPT。

這一下子就讓其他沒(méi)有用ChatGPT寫(xiě)論文的學(xué)生，更難自證清白了……

對(duì)此，得克薩斯農(nóng)工大學(xué)商學(xué)院表示正在調(diào)查這一事件，但并沒(méi)有學(xué)生不及格，也沒(méi)有人因?yàn)檫@個(gè)問(wèn)題被延畢。

學(xué)校表示，Mum教授正在一對(duì)一地與學(xué)生談話(huà)，了解他們寫(xiě)作業(yè)的過(guò)程中是否使用了AI，使用到了什么程度。個(gè)別學(xué)生的文憑將被扣留，直到調(diào)查完成。

而學(xué)生們表示，自己并沒(méi)有獲得文憑。

目前，事件還在調(diào)查中。

用ChatGPT檢測(cè)ChatGPT？

那么問(wèn)題來(lái)了，ChatGPT能證明一篇文章是不是自己寫(xiě)的嗎？

對(duì)此，我們基于教授這封郵件的內(nèi)容，問(wèn)了問(wèn)ChatGPT的觀(guān)點(diǎn)：

ChatGPT一上來(lái)就表示，自己并沒(méi)有能力驗(yàn)證內(nèi)容的原創(chuàng)性，以及是不是由AI生成的。

「這位老師似乎誤解了像我這樣的AI是如何工作的。雖然AI可以根據(jù)提示生成文本，但它不能確定另一篇文本是否由人工智能生成?！?/span>

話(huà)雖如此，但這并不能攔住愛(ài)整活的網(wǎng)友。

他們來(lái)了一出「以其人之道還治其人之身」，在線(xiàn)教Mumm教授做人。

首先，ChatGPT表示，教授寫(xiě)的這封郵件，正是出自自己之手。

緊接著，網(wǎng)友又復(fù)刻了Mumm教授的做法——

拿一段看起來(lái)像是某篇論文的節(jié)選，來(lái)問(wèn)ChatGPT是不是它寫(xiě)的。

這次，ChatGPT雖然沒(méi)說(shuō)是自己寫(xiě)的，但基本上確定內(nèi)容就是來(lái)自AI。

其中，有幾個(gè)特征與Al生成的內(nèi)容一致：

1. 文本是連貫的，遵循一個(gè)清晰的結(jié)構(gòu)，從一般到具體。

2. 準(zhǔn)確地引用了來(lái)源和數(shù)字?jǐn)?shù)據(jù)。

3. 正確地使用了術(shù)語(yǔ)，這是典型的Al模型的特點(diǎn)。比如GPT-4，就是在包括科學(xué)文獻(xiàn)在內(nèi)的各種文本中訓(xùn)練出來(lái)的。

那么實(shí)際上，這段內(nèi)容的出處是哪里呢？

有意思的地方來(lái)了，沒(méi)想到竟然是Mumm教授自己寫(xiě)的博士論文！

AI檢測(cè)器并不靈？

既然ChatGPT無(wú)法檢驗(yàn)一段內(nèi)容是不是AI生成的，那什么可以呢？

自然是為此專(zhuān)門(mén)誕生的「AI檢測(cè)器」，號(hào)稱(chēng)是用魔法打敗魔法。

眾多AI檢測(cè)器中，最出名的一個(gè)便是由普林斯頓華人本科生Edward Tian創(chuàng)建的GPTZero——它不僅免費(fèi)，而且效果拔群。

只需把文字復(fù)制粘貼進(jìn)去，GPTZero就可以明確地指出一段文字中，哪段是AI生成的，哪段是人類(lèi)寫(xiě)的。

原理上，GPTZero主要靠「困惑度」（文本的隨機(jī)性）和「突發(fā)性」（困惑度的變化）作為指標(biāo)進(jìn)行判斷。

在每次測(cè)試中，GPTZero還會(huì)挑選出困惑度最高的那個(gè)句子，也就是最像人話(huà)的句子。

但這個(gè)方法其實(shí)并不完全可靠，雖然GPTZero聲稱(chēng)產(chǎn)品的假陽(yáng)性率<2%，但這個(gè)數(shù)據(jù)更多是基于對(duì)新聞?lì)悆?nèi)容的評(píng)判。

在實(shí)測(cè)中，有人曾把美國(guó)憲法輸入GPTZero，結(jié)果被判定是AI寫(xiě)的。

而剛剛那段ChatGPT的回復(fù)，GPTZero則認(rèn)為很可能完全是由人類(lèi)寫(xiě)的。

這導(dǎo)致的后果就是，不了解其中原理、太固執(zhí)的老師，就會(huì)無(wú)意中冤枉很多學(xué)生，比如Mumm教授。

所以，如果遇到這種情況，我們?cè)撛趺醋宰C清白？

有網(wǎng)友提議，類(lèi)似「美國(guó)憲法實(shí)驗(yàn)」，把ChatGPT出現(xiàn)之前的文章丟進(jìn)AI檢測(cè)器，看看結(jié)果如何。

然而，從邏輯上講，即使能證明AI檢測(cè)器確實(shí)不靠譜，學(xué)生也無(wú)法直接證明自己的論文不是由AI生成的。

問(wèn)一下ChatGPT怎么破，它是這么說(shuō)的。

「讓老師理解AI的工作方式和局限性」，嗯，ChatGPT發(fā)現(xiàn)了華點(diǎn)。

目前小編唯一想到的答案是，如果不在教授眼皮底下直接寫(xiě)，那就每次寫(xiě)論文都錄屏，或者干脆給教授開(kāi)直播。

連OpenAI對(duì)于自己的官方ChatGPT檢測(cè)器，也只能保證26%的「真陽(yáng)性」正確率。

他們還特地發(fā)了官方聲明給大家打預(yù)防針：「我們真的不建議孤立地使用這個(gè)工具，因?yàn)槲覀冎浪赡艹鲥e(cuò)，使用AI進(jìn)行任何種類(lèi)的評(píng)估都是如此」。

AI內(nèi)容檢測(cè)為何如此困難？

目前市面上已有的檢測(cè)器已經(jīng)數(shù)不勝數(shù)——GPTZero、Turnitin、GPT-2 Output、Writer AI 、Content at Scale AI等等，但準(zhǔn)確率都差強(qiáng)人意。

那么，為什么我們想檢測(cè)一段內(nèi)容是不是AI生成的，就這么困難？

Turnitin的AI副總裁Eric Wang稱(chēng)，用軟件檢測(cè)AI寫(xiě)作的原理，是基于統(tǒng)計(jì)學(xué)。從統(tǒng)計(jì)學(xué)的角度來(lái)看，AI與人類(lèi)的區(qū)別在于，它極其穩(wěn)定地處于平均水平。

「像ChatGPT這樣的系統(tǒng)就像是自動(dòng)補(bǔ)全的高級(jí)版本，尋找下一個(gè)最可能要寫(xiě)的單詞。這實(shí)際上就是它為什么讀起來(lái)如此自然的原因。AI寫(xiě)作是人類(lèi)寫(xiě)作中最可能的子集?！?/span>

Turnitin的檢測(cè)器便會(huì)「識(shí)別出書(shū)寫(xiě)過(guò)于一致的平均情況」。然而，有時(shí)人類(lèi)的寫(xiě)作看起來(lái)也會(huì)處于平均水平。

在經(jīng)濟(jì)學(xué)、數(shù)學(xué)和實(shí)驗(yàn)室報(bào)告中，學(xué)生傾向于遵循固定的寫(xiě)作風(fēng)格，這意味著他們更有可能被誤認(rèn)為是AI寫(xiě)作。

更好笑的是，前不久的一篇論文中，來(lái)自斯坦福大學(xué)的研究團(tuán)隊(duì)發(fā)現(xiàn)：對(duì)于非母語(yǔ)者的論文，GPT檢測(cè)器更容易判為AI寫(xiě)的。其中，中國(guó)人寫(xiě)的英文論文被判為AI生成的概率，高達(dá)61%。

論文地址：https://arxiv.org/pdf/2304.02819.pdf

研究人員從中國(guó)的教育論壇上獲取了91篇托福作文，又從美國(guó)Hewlett基金會(huì)的數(shù)據(jù)集中摘取了88篇美國(guó)八年級(jí)學(xué)生寫(xiě)的作文，輸進(jìn)了7大GPT檢測(cè)器。

圖中百分比即「誤判」比例，也就是明明由人寫(xiě)的，卻被判為AI生成的

可以看到，美國(guó)學(xué)生的作文被誤判的概率最高才12%，而中國(guó)學(xué)生的作文，概率基本過(guò)半，甚至高達(dá)76%。

研究者的結(jié)論是，因?yàn)榉悄刚Z(yǔ)者寫(xiě)的東西不地道，復(fù)雜度低，容易被錯(cuò)判。

可見(jiàn)，以復(fù)雜度來(lái)判定作者是人類(lèi)還是AI，并不合理。

抑或，背后還有其他原因？

對(duì)此，英偉達(dá)科學(xué)家Jim Fan稱(chēng)，檢測(cè)器在很長(zhǎng)一段時(shí)間內(nèi)都是不可靠的。畢竟AI會(huì)變得越變?cè)綇?qiáng)，并且會(huì)以越來(lái)越像人類(lèi)的方式寫(xiě)作。

可以肯定地說(shuō)，隨著時(shí)間的推移，這些語(yǔ)言模型的小怪癖會(huì)越變?cè)缴佟?/span>

不知這對(duì)學(xué)生們，會(huì)是福音還是噩耗。