近日，英偉達(dá)的ARC-AGI2競(jìng)賽中，NVARC小模型以27.64%的成績(jī)超越GPT-5Pro的18.3%，成為榜首。NVARC的每任務(wù)成本僅為20美分，遠(yuǎn)低于GPT-5Pro的超過(guò)7美元。NVARC的成功在于其零預(yù)訓(xùn)練深度學(xué)習(xí)方法，避免了預(yù)訓(xùn)練模型的領(lǐng)域偏見(jiàn)和數(shù)據(jù)依賴(lài)問(wèn)題。

NVARC團(tuán)隊(duì)采用了改進(jìn)版ARChitects方法，選用小參數(shù)模型Qwen3-4B，通過(guò)對(duì)話式模板簡(jiǎn)化謎題理解。訓(xùn)練時(shí)借助NeMoRL框架和Megatron后端進(jìn)行監(jiān)督微調(diào)。關(guān)鍵一步在于測(cè)試時(shí)微調(diào)（TTFT），針對(duì)ARC-AGI-2每個(gè)任務(wù)都是全新規(guī)則的特點(diǎn)，NVARC引入了LoRA微調(diào)技術(shù)，對(duì)每個(gè)問(wèn)題都進(jìn)行微調(diào)，讓模型快速適應(yīng)。同時(shí)，對(duì)ARChitects方法的改進(jìn)在于解碼階段DFS算法做了批處理優(yōu)化，修復(fù)結(jié)果非確定性問(wèn)題。

NVARC團(tuán)隊(duì)還應(yīng)用了“少即是多”的TRM方法，嘗試與Qwen3-4B集成補(bǔ)充分?jǐn)?shù)，雖有提升但未大幅優(yōu)化。這一成果表明，在特定領(lǐng)域任務(wù)中，經(jīng)過(guò)針對(duì)性?xún)?yōu)化的小模型性能并不遜色于全面發(fā)力的超級(jí)大模型。將正確的方法用在正確的地方，小模型也能實(shí)現(xiàn)更大的價(jià)值。