AI會議論文被生成式AI幻覺汙染

GPTZero作為一款AI輸出檢測工具,再次發現科學家們因依賴不可靠的AI助手而損害了自己的可信度論文

這家位於紐約的公司在神經資訊處理系統會議(NeurIPS)接受的51篇論文中識別出了100個幻覺內容論文。此前,該公司還在國際學習表徵會議(ICLR)的審查論文中發現了50個虛假引用。

GPTZero的高階機器學習工程師Nazar Shmatko、機器學習負責人Alex Adam和學術寫作編輯Paul Esau在部落格文章中指出,生成式AI工具的普及引發了"AI垃圾內容的海嘯"論文

他們觀察到:"在2020年到2025年間,NeurIPS的投稿量從9467篇增長到21575篇,增幅超過220%論文。為了應對這種情況,組織者不得不招募更多審稿人,導致了監督、專業匹配、疏忽甚至欺詐等問題。"

這些幻覺內容主要包括生成式AI模型虛構的作者和資源,以及所謂的AI生成文字論文

法律界也面臨類似問題論文。已有超過800個錯誤的法律引用被標記為AI模型生成,通常對涉及的律師、法官或原告造成後果。

學者們可能不會面臨與法律專業人士相同的不當行為制裁,但草率應用AI的後果不僅僅是誠信喪失論文

AI論文提交量激增的同時,學術論文中實質性錯誤的數量也在增加——如錯誤公式、計算錯誤、圖表錯誤等,而不僅僅是引用不存在的資源材料論文

Together AI、NEC美國實驗室、羅格斯大學和斯坦福大學的研究人員在2025年12月發表的預印本論文中,專門研究了三個主要機器學習組織的AI論文:ICLR(2018-2025)、NeurIPS(2021-2025)和TMLR(機器學習研究期刊)(2022-2025)論文

研究者發現:"已發表的論文包含相當數量的客觀錯誤,每篇論文的平均錯誤數量隨時間增加——從2021年NeurIPS的3.8個增加到2025年的5.9個(增長55.3%);從2018年ICLR的4.1個增加到2025年的5.2個;從2022/23年TMLR的5.0個增加到2025年的5.5個論文。"

展開全文

雖然相關性不等於因果關係,但當NeurIPS論文的錯誤率在OpenAI的ChatGPT推出後增長了55.3%時,生成式AI工具的快速採用不容忽視論文。對科學家來說,不加檢查地使用AI的風險不僅僅是聲譽受損,還可能使他們的工作失效。

GPTZero認為其幻覺檢查軟體應該成為出版商AI檢測工具的一部分論文。這可能有助於確定引用是否指向真實研究,但也存在聲稱能使AI創作更難被檢測的對策。例如,一個名為Humanizer的Claude程式碼技能聲稱它"移除文字中AI生成寫作的痕跡,使其聽起來更自然、更人性化"。還有許多其他反取證選項。

國際科學、技術和醫學出版商協會(STM)最近的報告試圖解決學術介面臨的誠信挑戰論文。報告顯示,2024年學術交流達到570萬篇文章,比五年前的390萬篇有所增加。報告認為,出版實踐和政策需要適應AI輔助和AI製造研究的現實。

"學術出版商絕對意識到了這個問題,正在採取措施保護自己,"撤稿觀察網站的聯合創始人Adam Marcus在給The Register的郵件中說道,該網站記錄了許多與AI相關的撤稿論文。"但這些措施是否會成功還有待觀察。我們正處於AI軍備競賽中,防守方能否抵禦圍攻尚不清楚。然而,同樣重要的是要認識到,出版商透過採用優先考慮數量而非質量的商業模式,使自己容易受到這些攻擊。他們遠非無辜受害者。"

Q&A

Q1:GPTZero在學術論文中發現了什麼問題論文

A:GPTZero在神經資訊處理系統會議(NeurIPS)接受的51篇論文中識別出了100個AI幻覺內容,主要包括生成式AI模型虛構的作者和資源,以及所謂的AI生成文字論文。此前還在國際學習表徵會議(ICLR)的審查論文中發現了50個虛假引用。

Q2:學術論文中的錯誤率有什麼變化趨勢論文

A:研究顯示學術論文中的錯誤數量在增加論文。NeurIPS論文的平均錯誤數從2021年的3.8個增加到2025年的5.9個,增長了55.3%。這種增長趨勢與ChatGPT等生成式AI工具的普及時間相吻合。

Q3:如何解決學術論文中的AI幻覺問題論文

A:GPTZero建議將其幻覺檢查軟體作為出版商AI檢測工具的一部分論文。同時,學術出版商正在採取措施保護自己,但效果還有待觀察。報告認為出版實踐和政策需要適應AI輔助研究的現實。

本站內容來自使用者投稿,如果侵犯了您的權利,請與我們聯絡刪除。聯絡郵箱:[email protected]

本文連結://shhcmy.net/tags-%E4%B8%8A%E6%B5%B7%E8%AD%89%E5%88%B8%E4%BA%A4%E6%98%93%E6%89%80.html

🌐 /