AI考高考成績如何？ 這個大陸模型「考生」贏過GPT-4o

hb123hb123

中國大陸高考（大學入學考試）6月初已結束，各地近日將陸續公布考試成績。搶在這之前，上海人工智慧實驗室旗下機構近日公布首個由人工智慧（AI）大模型答卷的評測結果。在7個來自中國海內外大模型進行語文、數學、英語三科全卷能力測試下，阿里巴巴的通義千問2-72B總得分排名第一，略高於第二名OpenAI的GPT-4o。此外，閱卷老師也剖析了AI與人類考生答題上的差異。

上海第一財經報導，在前不久高考結束後，上海人工智慧實驗室旗下司南評測體系OpenCompass選取了7個大模型進行高考語文、數學、英語全卷能力測試，這項首個大模型高考全卷評測結果於19日公布。
) L+ C9 [, k1 H
" s" ~5 M5 b3 y3 F- x- j7 z在三科加起來滿分為420分（語文、數學滿分150分；英文滿分120分）的前提下，此次高考測試結果顯示，大模型的語文、英文考試程度普遍不錯，但數學都不及格，最高分也只有75分。
; y+ I& `0 K8 }4 u+ f3 k, @1 l
2 \2 m% T' u% h$ J從排名看，阿里通義千問2-72B排名第一，為303分，OpenAI的GPT-4o排名第二，得分296分，上海人工智慧實驗室的書生·浦語2.0排名第三，三個大模型的得分率都超過70%。

第四至六名則為阿里通義千問2-57B、零一萬物Yi-1.5-34B、智譜GLM4-9B。來自法國大模型新創公司的Mistral Mixtral 8x22B排名第七墊底。
8 J8 ^0 W3 u0 Z, o, y
上海人工智慧實驗室表示，此次三科全卷測試，成績由具備高考評卷經驗的老師匿名人工判分，閱卷開始前，閱卷教師「未被」告知答卷均由模型生成，使閱卷教師完全以面對真實考生的標準評判回答效果。
+ Q5 A" S1 [3 u1 y8 h
- X6 Y( p- G) N+ z0 Y5 t值得一提的是，大模型「犯錯」的方式和人類考生有差異，有的模型會存在完全不理解題意導致亂答、重複生成、回答更像解析而非解答的問題，因此實際執行上，閱卷老師未能完全適應給分的過程，團隊則要求老師將離譜的錯誤直接視為答題錯誤，解析類型的回答以是否包含正確解題過程作為唯一準則。此外，每個題目都邀請了至少三位老師評閱取平均分數。

  }$ R7 N0 t3 i9 q$ P( [- d  R針對大模型在各科的表現，語文方面，評卷老師認為，模型的現代文閱讀理解能力普遍較強，但是不同模型的文言文閱讀理解能力差距較大。大模型作文則更像問答題，雖然有針對性但缺乏修飾，幾乎不存在人類考生都會使用舉例論證、引用論證、名人名言和人物材料等手法。對於「比喻」等語文概念，多數模型無法理解。

4 w1 P6 C. A8 V2 L; r: B6 N! K在數學考卷上，老師們發現，大模型的主觀題回答「相對凌亂」，且過程具有迷惑性，甚至出現過程錯誤但得到正確答案的情況。大模型的公式記憶能力較強，但是無法在解題過程中靈活引用。
; a. ?5 f- t, o2 L+ J8 ~) u9 n
/ D, V' x1 F; y; H% @英語則整體表現良好，但部分模型因不適應題型，在七選五、克漏字填空等題型得分率較低。大模型英文作文普遍存在因超出字數限制而扣分的情況，而人類考生多因為字數不夠扣分。
/ T3 o. z' U1 b& S. n
( N; L' k( S# f6 p0 n3 E