研究機(jī)構(gòu) Epoch AI 近日發(fā)布了一款全新的 AI 模型數(shù)學(xué)基準(zhǔn)測(cè)試集，名為 FrontierMath。該測(cè)試集旨在全面評(píng)估 AI 模型的數(shù)學(xué)推理能力，尤其是面對(duì)復(fù)雜數(shù)學(xué)問(wèn)題時(shí)的表現(xiàn)。
與現(xiàn)有的數(shù)學(xué)測(cè)試題集如 GSM-8K 和 MATH 相比，F(xiàn)rontierMath 的特色在于其收錄的數(shù)學(xué)問(wèn)題極為復(fù)雜，涵蓋了數(shù)論、代數(shù)和幾何等多個(gè)現(xiàn)代數(shù)學(xué)領(lǐng)域。這些問(wèn)題的難度極高，甚至對(duì)于人類專家而言，解答也往往需要耗費(fèi)數(shù)小時(shí)乃至數(shù)天的時(shí)間。
據(jù)悉，F(xiàn)rontierMath 的題目由資深的人工智能學(xué)專家精心設(shè)計(jì)。這些問(wèn)題不僅要求 AI 具備對(duì)數(shù)學(xué)概念的深刻理解，更需要在復(fù)雜情境下進(jìn)行高效推理。這樣的設(shè)計(jì)要求旨在防止 AI 模型通過(guò)比對(duì)過(guò)往學(xué)習(xí)過(guò)的相似題目來(lái)尋求答案。
研究機(jī)構(gòu)使用 FrontierMath 對(duì)當(dāng)前市場(chǎng)上的主流 AI 模型進(jìn)行了初步測(cè)試。結(jié)果顯示，這些模型在 FrontierMath 上的表現(xiàn)普遍不佳。即便是此前在 GSM-8K 和 MATH 測(cè)試中取得近乎滿分成績(jī)的 Claude 3.5 和 GPT-4 等先進(jìn)模型，在 FrontierMath 中的解題成功率也低于 2%。
研究團(tuán)隊(duì)進(jìn)一步指出，AI 在解決高級(jí)數(shù)學(xué)問(wèn)題時(shí)的主要挑戰(zhàn)在于它們往往過(guò)于依賴訓(xùn)練數(shù)據(jù)中的相似題目來(lái)生成答案。這種方式忽略了對(duì)問(wèn)題本身邏輯結(jié)構(gòu)的深入理解和推理。因此，當(dāng)面對(duì)未曾學(xué)習(xí)過(guò)的新題目時(shí)，這些模型容易陷入困境。這一問(wèn)題并非僅僅通過(guò)增加模型規(guī)模就能解決，而是需要從模型的推理架構(gòu)層面進(jìn)行根本性的改進(jìn)。
