一場屬于開發者的英特技術盛宴“AI大模型：顛覆式創新與落地實踐”在上海模速空間完美收官，為所有參與者留下了深刻印象與滿滿收獲。爾出
活動當天，席上來自零一萬物、模型英特爾、英特未來速度科技、爾出映云科技、席上儀酷智能、模型波爾鴨、英特研揚科技、爾出億琪軟件、席上云錦微等眾多行業翹楚的模型專家和創始人，不僅分享了大模型領域的英特最新研究成果，更展示了落地實踐的爾出生動案例，激發了現場每一位開發者對未來技術應用的席上無限遐想。
模速空間總經理陳海慈先生作為場地方代表開場分享，模速空間是專注于大模型產業的生態創新社區，位于徐匯區，去年9月成立，已吸引70+家企業入駐，一、二期場地近2萬方載體投入使用，目標建設10萬方大模型生態社區。社區提供強大算力支持、豐富語料資源、權威模型測試、充足資金對接及便利備案服務，包括超5000萬算力補貼、高質量公共數據、200億人工智能母基金等，助力大模型產業高速發展。
零一萬物開源暨開發者生態總監林旅強以脫口秀的形式展開了活動的分享環節，講述自己從非技術背景轉型為開發者并投身AI領域的經歷。轉型成功的關鍵在于個人興趣與動力，而非恐懼，他鼓勵大家主動培養愛好而非被動跟隨趨勢。并分享了從自學Linux到建立博客、社區互動，再到出版書籍的過程，強調輸出和參與開源項目、不斷練習的重要性。林旅強提及AI將模糊開發者與產品構建者界限，使兩者更融合，認為AI工具將降低代碼門檻，未來將幫助快速實現想法落地。
隨后，零一萬物開發者關系工程師在分享中深入解析了開源大模型現狀，指出大模型的核心在于詞匯概率預測，訓練階段模型學習單詞出現概率，而微調優劣構架構成對話則需監督學習格式。探討了不同模型間性能差異因素，包括架構、數據、訓練科學、效率等，強調數據質量至關重要。指出數據清洗的挑戰，提及數據來源與質量把控。討論了模型訓練集與對話學習中的問題，提及數據量與質量平衡，指出Lima路線選擇質量高于數量。分享了社區與開源對話數據集的缺乏，以及處理技術如蒸餾分餾的現狀，為聽眾提供了理解大模型學習和開源領域實用指南與挑戰的全面視角。
英特爾AI軟件布道師武卓博士分享了OpenVINO 2024.1版本的最新特性，強調了對AI模型推理加速和部署的優化。OpenVINO 作為英特爾的開源工具，支持多種深度學習框架模型，包括最新的大模型，并能優化和部署在各種設備上運行。新版本增加了對大模型的支持，如Meta的模型，提高了現有模型的性能。從優化角度，新版本引入混合量化技術，如針對特定模型，顯著壓縮同時保持圖像質量，提升推理速度。部署方面，OpenVINO 支持神經處理單元，新插件讓OpenVINO 在AI PC上運行模型推理更高效。整體上，OpenVINO 2024.1展現了對AI大模型部署和優化的強大支持，推動了技術的應用與實踐。
杭州未來速度科技有限公司聯合創始人兼CEO秦續業在分享中介紹了，聚焦于大模型時代背景下，特別是分布式推理平臺Xinference的作用和優化。隨著大模型如GPT等的出現，模型愈發龐大，推理效率成為瓶頸。Xinference通過有效利用技術，如KV緩存機制，優化存儲訪問，減少計算量，加速推理過程。提及Berkeley提出的分頁機制，動態調整緩存管理，提高GPU利用率。討論了模型尺寸問題時，如GPT的巨型，推測性采樣技術可減少大模型調用頻次，提高吞吐量。整體分享展示了在面對大模型推理挑戰，如何通過技術創新和策略優化，實現高效部署，推進AI應用落地。
EMQ社區布道師周子博與智擎信息創始人王曦在聯合分享中強調了AI技術落地實踐，特別是工業領域中大模型的應用價值。他們提到，通過與EMQ合作，利用IoT系列產品，結合歷史數據與新模型預測維護設備異常，幫助企業提前發現潛在問題。企業庫產品集成內部信息，加速查詢與知識獲取，輔助決策。案例中，EMQ與全球500強客戶采用該方案，整合設備數據、文檔等，提高分析效率，通過AI模型與歷史數據融合，實現更直觀、快速診斷與報告，助力生產優化。分享突出了AI技術在實際場景中的應用與效能，展示了模型如何提升工業智能分析與決策速度，優化工作流程。
上海儀酷智能科技有限公司CEO王立奇在分享中介紹了LabVIEW與英特爾緊密合作，在AI領域特別是在工業自動化與圖形化編程平臺上的應用。他們開發的工具包，簡化了基于OpenVINO 的推理，使用戶無需安裝OpenVINO 即可在英特爾硬件上運行模型，在CPU或顯卡上進行推理。他們還推出了AI視覺工具包，支持各種視覺應用，包括物體檢測、分割等，僅需圖形化編程就能快速部署，與英特爾緊密集成，無縫支持最新模型，如V5到V8，讓用戶直觀圖形化編程實現AI模型部署。通過這些工具，LabVIEW在工業界展現了AI技術的力量，加速自動化項目的部署與創新。
上海波爾鴨人工智能科技有限公司CEO劉雅麗分享了關于AI應用的挑戰與解決方案，特別是大型模型應用的難點，包括高昂算力成本、數據獲取與隱私安全、技術瓶頸及人才短缺。她強調了AI Agent（智能體）在提升產品市場適應性上的潛力，能進行目標導向的任務規劃與自我學習，實現類似甚至超越人類水平的服務，并提到多智能體協作是未來趨勢。劉雅麗還提及了她的實踐，通過AI Agent實現自動化售前檢測，以及如何構建AI產品并運用黑客增長策略，關注用戶留存與獲取、裂變機制，最終考慮變現模式。并通過Samantha項目，展示了AI如何成為親密伙伴，強調了情感維度，展示了AI技術前沿探索與未來可能性，強調了在AI創業中優化商業模式與用戶體驗的重要性。
上海億琪軟件有限公司CEO褚建琪分享聚焦于邊緣計算領域的開源項目EdgeX Foundry，它作為一個開放、靈活的基礎設施，支持多硬件與軟件互關的框架，旨在促進數據采集、處理與命令下發等邊緣端應用。他提到了EdgeX Foundry與OpenVINO 的集成，為邊緣設備服務的AI推理提供了便利，并強調了數據匯聚與命令下發的重要性。褚建琪通過介紹EdgeX Foundry與OpenVINO 在邊緣計算中的應用實例，旨在幫助企業或用戶更好地理解如何利用這些技術進行數據處理、管理與控制，從而提升效率。分享突出了開源項目的核心優勢與實踐中的靈活性，鼓勵技術集成與實際部署，提供了在邊緣計算方面的洞見地運用新視角。
研揚科技（蘇州）有限公司人工智能BDM徐林吉介紹了研揚科技作為一家專注于制造業的實體企業在AI應用上的探索，尤其是在邊緣計算領域的實踐與挑戰。AI大模型對硬件的需求日益增長，尤其是內存與帶寬成為了限制因素，他強調模型部署時需要考慮的硬件配置。徐林吉分享了研揚科技基于英特爾處理器的開發板載板的成功案例，盡管性能相對較低，但仍能部署3b模型，雖精度略降，顯示了模型部署的靈活性。他還討論了內存與帶寬的平衡，以及FP精度對性能影響，提出在選擇硬件時的參考值。盡管大模型看似需要高性能設備，但通過策略優化，即使是較低配置的硬件也能運行，展示了大模型應用的廣泛可能性?；顒訛橹圃鞓I如何應對大模型挑戰提供了硬件層面的洞見地策略與實際案例。
上海云錦微CTO周昌重點介紹了VT-Transformer框架，一個開源AI模型的計算生態，旨在簡化邊緣和端側推理的復雜性，解決AI在硬件多樣化環境中的部署難題。當前主流開源框架中存在多層不同框架的代碼堆疊，加大了開發者負擔，特別是對邊緣和端側等受限算力的部署不友好。VT-Transformer精簡化小型化的策略，可以減少從模型到推理的步驟，通過萬行代碼直接高效操作，大幅簡化計算，使得在邊緣和端側的小型場景比如電線桿、房間等部署應用大模型成為可能。同時，VT-Transformer支持多模態、混合模型、以及大小模型協同、云邊模型協同，一方面可以全面釋放模型的開放性，另一方面也可以全面實現芯片算力的國產化，支持多家國產硬件如海光、天數、愛芯等，充分考慮了與生態的兼容性，以滿足實際應用的多樣化需求。他強調開源是核心，包括AI模型層、AI計算層都開源才能真正解決安全顧慮，避免出現不可控的黑盒。憑借聚焦精簡化小型化策略的VT-Transformer，解決計算，終將使AI在邊端廣泛應用成為可能，用一種簡化與實用的技術路線，為開發者提供了一個更易用的路徑，可期有效推動AI技術的產業落地。
活動全程，開發者們積極互動，Demo展區前人頭攢動，共創AI未來的橋梁在此悄然搭建。活動雖已結束，但對AI大模型的熱情不減反增，開發者們帶著新知與靈感離開。再次感謝每一位參與者的熱情參與，相約下一次技術盛宴，期待下一站的精彩！
