曝螞蟻集團(tuán)用國產(chǎn)芯片訓(xùn)練AI 性能媲美英偉達(dá)

發(fā)布時(shí)間：2025-03-25 09:20:08     作者：財(cái)聯(lián)社     瀏覽量：458    

螞蟻集團(tuán)Ling團(tuán)隊(duì)近日發(fā)表了一篇技術(shù)成果論文，曝螞媲美展示了兩款不同規(guī)模的蟻集英偉MoE大語言模型——百靈輕量版（Ling-Lite）和百靈增強(qiáng)版（Ling-Plus）。百靈輕量版參數(shù)規(guī)模為168億，團(tuán)用激活參數(shù)27.5億；百靈增強(qiáng)版基座模型參數(shù)規(guī)模高達(dá)2900億，國產(chǎn)激活參數(shù)288億。芯片訓(xùn)練性這兩款模型性能均達(dá)到行業(yè)領(lǐng)先水平。曝螞媲美

除了自主研發(fā)高性能的蟻集英偉大模型外，該論文還提出了一系列創(chuàng)新方法，團(tuán)用以提升資源受限環(huán)境下AI開發(fā)的國產(chǎn)效率與可及性。實(shí)驗(yàn)表明，芯片訓(xùn)練性3000億參數(shù)的曝螞媲美MoE大模型可在使用國產(chǎn)GPU的低性能設(shè)備上完成高效訓(xùn)練，其性能與完全使用英偉達(dá)芯片、蟻集英偉同規(guī)模的團(tuán)用稠密模型及MoE模型相當(dāng)。

國產(chǎn)