AI參加高考,為何偏科嚴重
(資料圖)
文綜評測中,GPT-4o獲237分,優于多數人類考生。國產大模型中,豆包文綜成績最高,得分224.5分,其中歷史達到82.5分,在所有9款大模型中排第一。地理考卷有大量圖片考題,圖像理解能力較強的GPT-4o得到最高分,但僅有68分。
語文、英語評測中,多家大模型在客觀題上拿滿分。但寫作文是弱項。多次參加全國高考語文閱卷的北京市級骨干教師、懷柔區語文學科帶頭人夏老師是本次評測的作文閱卷人。她認為,“AI作文有清晰完整的結構,有邏輯性,語言通順流暢,但缺乏感情和感染力”。同理,在40分的英語寫作考試中,大模型的最高分只有29分,主要丟分在表達空泛、缺少細節上。
值得注意的是,大模型高考呈現出嚴重的偏科現象:數學、物理、化學等數理學科全線不及格,總分最高分不到480。而河南理科一本線是511分。最頂尖的大模型無法進入理科考生的前30%。
數學評測中,僅GPT-4o、文心一言4.0和豆包獲得60分以上成績(滿分150分)。大模型能準確運用求導公式和三角函數定理,但面對較為復雜的推導和證明問題就很難得分。物理有一道送分的選擇題,人類考生根據“時間不會倒流”可以輕易選對答案,大模型則全軍覆沒。
“目前的大語言模型本質上是文字接龍,基于海量資料,預測下一個最可能出現的詞句。通過不斷預測,生成連貫和完整的文本。應對文科考試,大模型的用詞不準或用了近義詞,不太影響評分。但理科考試考驗推理和計算,比如一道題有五步推理,大模型走偏一步,答案就全錯。而且大模型的訓練數據中,文科語料要遠遠大于理科語料。”國內一位大模型研發專家告訴科技日報記者。
近期,有一些國內外大模型在奧數題評測(非奧數現場比賽)上拿到不錯的成績。對此,該專家解釋,用大家都訓練過的公開數據集評測,大模型的準確率很高;但用比較新的數據集去測試,準確率就大大下降。最新的高考題是哪家大模型都沒有訓練過的,考驗的是數學推理和計算的泛化能力,這就暴露了大模型的短板。
北京大學計算語言學研究所教授穗志方近日也表示,大模型在中國高考、公務員考試和美國SAT考試等標準化考試中的表現是優劣兼具的。一些大模型在SAT數學測試中表現優異,但在復雜推理或特定知識領域中的表現不夠出色。
“在大模型內在機理沒有探究清楚的情況下,我們目前的評測路徑只能依靠從外部表現來推測內在能力。”穗志方說,未來應發展更系統的評測大綱、更具挑戰的評測任務、更科學的評測方法。AI是否比人類更適合考試?尚未可定論。
標簽:
原標題:AI參加高考,為何偏科嚴重
- AI參加高考,為何偏科嚴重
- 北京亦莊將建設全域人工智能之城-當前視點
- 上海二手房成交創三年新高背后,什么房子賣得好?|天天通訊
- 快遞保鮮費,如何才能收得名正言順?-環球觀天下
- 視訊!以舊換新加速換車潮,動力電池回收卻滯后成隱憂
- 特斯拉股價飆升10%,季度汽車交付量超預期-環球實時
- 特斯拉股價飆升10%,季度汽車交付量超預期
- 天天速訊:特斯拉股價飆升10%,季度汽車交付量超預期
- 上半年有24家中概股赴美上市,其中一只為IPO金額最大個股
- 上半年有24家中概股赴美上市,其中一只為IPO金額最大個股
- “中特估”之后,“科特估”能否引發下一輪A股行情?-當前信息
- “中特估”之后,“科特估”能否引發下一輪A股行情? 當前聚焦
- “中特估”之后,“科特估”能否引發下一輪A股行情?-環球快看
- 政策助力自動駕駛熱潮!多家相關企業沖刺IPO,產業迎新機!
- 消息!政策助力自動駕駛熱潮!多家相關企業沖刺IPO,產業迎新機!
- 政策助力自動駕駛熱潮!多家相關企業沖刺IPO,產業迎新機!_天天看點
- 2024MWC上海展:移動AI時代漸行漸近|每日訊息
- 蘭新高鐵飛馳 助力西部發展|每日速遞
- 給工資取個生活費等“別名”,就能逃避勞動關系了嗎?-世界新動態
- 天天快訊:京雄城際鐵路推出90天計次票 無需每次單獨購票
- 全球視點!華為重申“不造車” 鴻蒙智行與引望將成汽車業務核心
- 印刷電路板行業發展趨勢向好 多家公司透露下游需求增長
- 18個城市2個聯合體 智能網聯汽車萬億賽道提速 環球今日報
- ?西平縣市場監督管理局開展新《公司法》政策宣傳工作-今日報
- 賽諾菲:首個合胞病毒預防手段樂唯初中國上市 可用于嬰兒預防RSV感染 天天觀察
- 6月北京二手房網簽量同比增近三成|快消息
- 唱響紅色經典 感受信仰力量
- 未來有你 燦若星河—駐馬店市幼兒園舉辦大班畢業典禮
- 以勞育人“薯”與“泥”的快樂—駐馬店實驗小學開展勞動教育實踐活動-時訊
- 天天觀焦點:第二十六屆中國科協年會聚焦科技助力發展新質生產力
- AI參加高考,為何偏科嚴重
- 北京亦莊將建設全域人工智能之城-當前視點
- 上海二手房成交創三年新高背后,什么房子賣
- 快遞保鮮費,如何才能收得名正言順?-環球
- 視訊!以舊換新加速換車潮,動力電池回收卻
- 特斯拉股價飆升10%,季度汽車交付量超預期-
- 特斯拉股價飆升10%,季度汽車交付量超預期
- 天天速訊:特斯拉股價飆升10%,季度汽車交
- 上半年有24家中概股赴美上市,其中一只為IP
- 上半年有24家中概股赴美上市,其中一只為IP
- “中特估”之后,“科特估”能否引發下一輪
- “中特估”之后,“科特估”能否引發下一輪
- “中特估”之后,“科特估”能否引發下一輪
- 政策助力自動駕駛熱潮!多家相關企業沖刺IP
- 消息!政策助力自動駕駛熱潮!多家相關企業
- 政策助力自動駕駛熱潮!多家相關企業沖刺IP
- 2024MWC上海展:移動AI時代漸行漸近|每日訊息
- 蘭新高鐵飛馳 助力西部發展|每日速遞
- 給工資取個生活費等“別名”,就能逃避勞動
- 天天快訊:京雄城際鐵路推出90天計次票 無
- 全球視點!華為重申“不造車” 鴻蒙智行與
- 印刷電路板行業發展趨勢向好 多家公司透露
- 18個城市2個聯合體 智能網聯汽車萬億賽道
- ?西平縣市場監督管理局開展新《公司法》政
- 賽諾菲:首個合胞病毒預防手段樂唯初中國上
- 6月北京二手房網簽量同比增近三成|快消息
- 唱響紅色經典 感受信仰力量
- 未來有你 燦若星河—駐馬店市幼兒園舉辦大
- 以勞育人“薯”與“泥”的快樂—駐馬店實驗
- 天天觀焦點:第二十六屆中國科協年會聚焦科