DeepSeek-AI團(tuán)隊(duì)梁文鋒及其同事17日在《自然》雜志上發(fā)表了開(kāi)源人工智能（AI）模型DeepSeek-R1所采用的大規(guī)模推理模型訓(xùn)練方法。研究表明，大語(yǔ)言模型（LLM）的推理能力可通過(guò)純強(qiáng)化學(xué)習(xí)來(lái)提升，從而減少增強(qiáng)性能所需的人類(lèi)輸入工作量。訓(xùn)練出的模型在數(shù)學(xué)、編程競(jìng)賽和STEM領(lǐng)域研究生水平問(wèn)題等任務(wù)上，比傳統(tǒng)訓(xùn)練的LLM表現(xiàn)更好。

DeepSeek-R1包含一個(gè)在人類(lèi)監(jiān)督下的深入訓(xùn)練階段，以?xún)?yōu)化推理過(guò)程。梁文鋒團(tuán)隊(duì)報(bào)告稱(chēng)，該模型使用了強(qiáng)化學(xué)習(xí)而非人類(lèi)示例來(lái)開(kāi)發(fā)推理步驟，減少了訓(xùn)練成本和復(fù)雜性。DeepSeek-R1在被展示優(yōu)質(zhì)的問(wèn)題解決案例后，會(huì)獲得一個(gè)模板來(lái)產(chǎn)生推理過(guò)程，即這一模型通過(guò)解決問(wèn)題獲得獎(jiǎng)勵(lì)，從而強(qiáng)化學(xué)習(xí)效果。團(tuán)隊(duì)總結(jié)說(shuō)，未來(lái)研究可以聚焦優(yōu)化獎(jiǎng)勵(lì)過(guò)程，以確保推理和任務(wù)結(jié)果更可靠。

在評(píng)估AI表現(xiàn)的數(shù)學(xué)基準(zhǔn)測(cè)試中，DeepSeek-R1-Zero和DeepSeek-R1得分分別為77.9% 和 79.8%，在編程競(jìng)賽及研究生水平的生物學(xué)、物理和化學(xué)問(wèn)題上同樣表現(xiàn)優(yōu)異。

關(guān)鍵詞：