一項針對ICML 2026投稿的大規模隨機對照實驗顯示,評審政策中是否允許使用大語言模型(LLM),對論文最終得分與錄用結果的影響幾乎可以忽略不計。該研究基于arXiv公開論文對24 661篇投稿進行分析,發現不同政策組之間的評分差異僅為0.002分,且在統計上不顯著。這一結果表明,允許有限度的AI輔助評審,并未如部分研究者擔憂的那樣系統性地改變評審結果。
核心數據:政策分組未帶來實質評分變化
該實驗采用隨機化設計,將投稿與評審者分配至不同LLM使用政策組。數據顯示,在允許有限LLM使用與禁止LLM使用的條件下,論文平均得分分別為3.31分和3.32分,差異僅為0.01分;經統計檢驗,p值為0.56,遠高于常規顯著性閾值,說明這一微小差異更可能來自隨機波動而非政策本身的作用。
錄用決定同樣呈現高度一致。在允許有限LLM使用的組中,73.0%的論文被拒稿或撤稿,24.4%作為常規論文錄用,2.6%作為亮點論文錄用;在禁止LLM使用組中,對應比例分別為73.5%、24.4%和2.1%。決策分布幾乎完全重疊,卡方統計量χ2(2)=1.18,效應量Cramér’s V僅為0.01。
研究同時考察了評審者信心這一維度,同樣未發現政策分組帶來的顯著差異。這意味著,無論評審者是否被允許借助LLM,其給出的分數、給出的決策以及對自己判斷的確定性,都處于同一水平。
政策背景:ICML 2026的雙軌LLM框架
上述實驗實施于ICML 2026的評審環節。與ICML 2025全面禁止評審者使用LLM不同,ICML 2026引入了雙政策框架:作者和評審者各自選擇允許有限LLM使用或不使用,并據此進行匹配。具體規則還包括:選擇不使用LLM的作者,其評審階段同樣必須遵守不使用LLM的規定。
ICML 2026官方FAQ對政策執行做出了進一步說明。在政策A(嚴格禁止LLM)下,將投稿內容整體或部分輸入LLM均屬違規,無論目的為何;同時,區別于無意使用,若評審者將投稿輸入LLM并實際采用其輸出,將被視為超出無意行為的范圍。
在作者側,ICML 2026同期明確了LLM不得列為作者、嚴禁通過提示注入操縱評審結果等規則。值得注意的是,用于檢測LLM使用的提示(例如由主辦方插入的提示)不被視為違規,但以操縱獲得更好評審結果為目的的提示注入則被明確禁止。這些細則構成了ICML 2026在LLM評審治理上的完整政策鏈條。
另一動態:NeurIPS 2026引入“貢獻聲明”
在ICML 2026雙軌政策實驗進行的同時,NeurIPS 2026也在投稿與評審流程中推出了一項新舉措——“貢獻聲明”。該舉措要求作者對論文中各部分工作的來源與性質進行說明,以回應學術界對LLM參與研究過程后貢獻歸屬日益增長的關切。檢索日期為2026年7月,具體執行細節需以NeurIPS官方最新文件為準。
從投稿者角度看,這一系列變化傳遞出的信號較為明確:頂會在LLM使用問題上的治理思路正在分化,有的采用“允許但受限并匹配”的雙軌設計,有的則嘗試通過聲明機制強化貢獻透明度。對于正在準備投稿的研究者而言,逐條核對會議官方政策、確認本人與評審者所處政策組別,仍是降低流程風險最直接的方式。


