首屆開(kāi)放原子開(kāi)源大賽系列成果
“Intel借助開(kāi)源大賽在全國(guó)的開(kāi)放影響力，吸引更多開(kāi)發(fā)者加入大語(yǔ)言模型及其在人工智能領(lǐng)域的原開(kāi)源大言模用落創(chuàng)新應(yīng)用。”負(fù)責(zé)BigDL-LLM賽題運(yùn)營(yíng)的賽助Intel工作人員表示。
2023年，力輕量級(jí)大語(yǔ)言模型（LLM）及應(yīng)用成為全球焦點(diǎn)，大語(yǔ)地參數(shù)量激增至萬(wàn)億級(jí)。開(kāi)放隨著模型參數(shù)數(shù)量的原開(kāi)源大言模用落不斷增加，推理時(shí)間變得越來(lái)越長(zhǎng)，賽助運(yùn)行大模型所需的力輕量級(jí)資源消耗也越來(lái)越多，導(dǎo)致其運(yùn)行緩慢，大語(yǔ)地這為AI應(yīng)用開(kāi)發(fā)者帶來(lái)了極大的開(kāi)放挑戰(zhàn)。
為此，原開(kāi)源大言模用落Intel開(kāi)發(fā)并開(kāi)源了BigDL-LLM，賽助可借助Intel平臺(tái)優(yōu)勢(shì)，力輕量級(jí)助力AI開(kāi)發(fā)者和研究者加速優(yōu)化大語(yǔ)言模型，大語(yǔ)地提升大語(yǔ)言模型的使用體驗(yàn)。
為了使BigDL-LLM服務(wù)更多開(kāi)發(fā)者，并為大型語(yǔ)言模型的開(kāi)源應(yīng)用提供更多實(shí)際應(yīng)用場(chǎng)景，Intel與開(kāi)放原子開(kāi)源基金會(huì)合作，通過(guò)舉辦開(kāi)源大賽，激勵(lì)開(kāi)發(fā)者創(chuàng)新。2023年11月，“BigDL-LLM輕量級(jí)大語(yǔ)言模型應(yīng)用開(kāi)發(fā)創(chuàng)新賽”在開(kāi)放原子開(kāi)源大賽平臺(tái)正式上線，致力于進(jìn)一步推動(dòng)大語(yǔ)言模型技術(shù)的發(fā)展和應(yīng)用。
開(kāi)源大賽
加速優(yōu)化大語(yǔ)言模型
開(kāi)放原子開(kāi)源大賽——BigDL-LLM輕量級(jí)大語(yǔ)言模型應(yīng)用開(kāi)發(fā)創(chuàng)新賽，以30萬(wàn)獎(jiǎng)金和Intel實(shí)習(xí)機(jī)會(huì)為激勵(lì)，匯聚了全國(guó)120所高校與企業(yè)單位的163支團(tuán)隊(duì)，經(jīng)過(guò)嚴(yán)格篩選，來(lái)自微軟公司、華東師范大學(xué)、上海交通大學(xué)、北京航空航天大學(xué)、復(fù)旦大學(xué)、同濟(jì)大學(xué)、浙江靜好控股集團(tuán)等單位的十強(qiáng)團(tuán)隊(duì)脫穎而出，進(jìn)入決賽。
本次大賽要求參賽選手通過(guò)在Intel本地PC（無(wú)需獨(dú)立顯卡）或云端，開(kāi)發(fā)基于大語(yǔ)言模型的創(chuàng)新應(yīng)用，如智能語(yǔ)音助手、智能助理、聊天機(jī)器人、智能客服等。參賽作品應(yīng)以可執(zhí)行代碼和文檔為主，并可選包括演示、PPT、演示視頻等形式。
在決賽上，上海交通大學(xué)的SJTUNavSailor團(tuán)隊(duì)使用BigDL-LLM量化后的int4模型，不僅內(nèi)存占用大幅下降，對(duì)話響應(yīng)時(shí)間也從原本超過(guò)5分鐘（仍未響應(yīng)）降至8秒；華東師范大學(xué)的VidBot團(tuán)隊(duì)則用BigDL-LLM將Whipser語(yǔ)音模型放在XPU加速推理后，轉(zhuǎn)錄時(shí)間提速了一倍；
“在使用BigDL-LLM模型加速后，效果顯著，尤其是在Intel CPU平臺(tái)上可以實(shí)現(xiàn)很大程度的加速效果，提升大模型在個(gè)人電腦運(yùn)行的性能，降低AI PC的使用門檻。”同濟(jì)大學(xué)、浙江靜好控股集團(tuán)等入圍選手在路演現(xiàn)場(chǎng)接受采訪時(shí)表示。
最終，獲獎(jiǎng)團(tuán)隊(duì)通過(guò)應(yīng)用大語(yǔ)言模型技術(shù)，為教育、招聘和美容等行業(yè)提供了創(chuàng)新的技術(shù)解決方案，展現(xiàn)了高效、穩(wěn)定和可靠的深度學(xué)習(xí)應(yīng)用潛力。
開(kāi)源大賽
助力輕量級(jí)大語(yǔ)言模型應(yīng)用落地
在決賽的路演中，經(jīng)過(guò)9位資深評(píng)委專家的細(xì)致評(píng)選，浙江靜好控股集團(tuán)的“美業(yè)AI大腦”團(tuán)隊(duì)脫穎而出，榮獲一等獎(jiǎng)。華東師范大學(xué)的OpenEduECNU和Vidbot團(tuán)隊(duì)也展現(xiàn)了卓越實(shí)力，共同榮獲二等獎(jiǎng)。
“美業(yè)AI大腦”團(tuán)隊(duì)負(fù)責(zé)人賽后總結(jié)時(shí)表示：“我們非常幸運(yùn)能夠參加開(kāi)放原子開(kāi)源大賽，此次獲獎(jiǎng)不僅將AI工具落地應(yīng)用在美業(yè)領(lǐng)域，更是對(duì)美業(yè)產(chǎn)業(yè)未來(lái)轉(zhuǎn)型升級(jí)的一種推動(dòng)。”
據(jù)路演團(tuán)隊(duì)的介紹，“美業(yè)AI大腦”旨在全面覆蓋美業(yè)的應(yīng)用場(chǎng)景，打造一個(gè)全面、智能、互動(dòng)的學(xué)習(xí)平臺(tái)。該平臺(tái)將為美業(yè)人員提供便捷、高效、有趣的學(xué)習(xí)體驗(yàn)，無(wú)論是解答日常疑問(wèn)、查詢專業(yè)知識(shí)、即時(shí)生成話術(shù)等，都能提供專業(yè)的解決方案。
華東師范大學(xué)OpenEduECNU團(tuán)隊(duì)的代表張豈明在接受采訪時(shí)表示：“非常感謝開(kāi)放原子開(kāi)源大賽為我們提供了展示作品的平臺(tái)。我們的方案利用BigDL-LLM輕量級(jí)大語(yǔ)言模型，結(jié)合華東師范大學(xué)的海量教育數(shù)據(jù)資源，開(kāi)發(fā)出了集課程問(wèn)答、試題生成和課件定制（教學(xué)大綱、教學(xué)PPT）等個(gè)性化功能于一體的教育工具，旨在幫助教育工作者提高教研效率，推動(dòng)教學(xué)個(gè)性化發(fā)展，促進(jìn)教育公平。”
為了深入挖掘如何運(yùn)用BigDL-LLM輕量級(jí)大語(yǔ)言模型實(shí)現(xiàn)應(yīng)用開(kāi)發(fā)的實(shí)際應(yīng)用，我們特別邀請(qǐng)了本次比賽的獲獎(jiǎng)團(tuán)隊(duì)代表，分享他們的開(kāi)發(fā)流程和參賽經(jīng)驗(yàn)！
來(lái)自華東師范大學(xué)的數(shù)據(jù)科學(xué)與工程學(xué)院碩士研究生張豈明，將直播分享《開(kāi)放原子開(kāi)源大賽獲獎(jiǎng)選手經(jīng)驗(yàn)分享——Open Edu ECNU個(gè)性化課程智能助教》，回顧參賽心得與經(jīng)驗(yàn)分享。
