中國科學家建立可與人腦突觸數量相較的中國AI模型
2022-06-28 12:14:59 評論： 字體大小 T T T 中國科學家基于最新的一臺配備雙威處理器的超級計算機，建立了“腦級人工智能模型”——八卦爐（BAGUALU）。科學其具有174萬億個參數，家建可與人腦中的人腦突觸數量相媲美，將在從自動駕駛汽車到科學研究的突觸各種場景中應用。中國科學家建立可與人腦突觸數量相較的數量AI模型——“八卦爐”
中國科學家基于最新的相較型一臺配備雙威處理器的超級計算機，建立了“腦級人工智能模型”——八卦爐（BAGUALU）。中國其具有174萬億個參數，科學可與人腦中的家建突觸數量相媲美，將在從自動駕駛汽車到科學研究的人腦各種場景中應用。AI大模型(Foundation Models):是突觸指經過大規模數據訓練且在經微調后即可適應廣泛下游任務的模型。隨著參數規模不斷擴大，數量AI大模型在語言、相較型視覺、中國推理、人機交互等領域涌現出新能力。由于各類AI大模型可有效應用于多種任務，各類AI大模型同質化特征愈發明顯。
根據最新發布的《2022年全球人工智能產業研究報告》，伴隨2017年Transformer模型的提出，深度學習模型參數數量突破1億個。此后，模型參數數量迅速增長，其中BAGUALU模型于2021年7月發布，參數規模已達到174萬億個。
報告稱，模型參數規模的增大，有助于進一步提高模型的運算精度。AI大模型的應用向多個應用場景提供預訓練方案，其使用的自監督學習方法也可減少標注數據的使用，降低訓練研發成本。具體而言，AI大模型在醫療和生物醫藥、法律和教育等領域擁有廣闊應用前景。
清華大學、阿里達摩院等機構的研究人員提出的“八卦爐”（BAGUALU），是第一個針對在超算，也就是新一代“神威”上，訓練參數量達到“百萬億級”模型的工作。“八卦爐”通過結合特定硬件的節點內優化和混合并行策略，在前所未有的大型模型上實現了體面的性能和可擴展性。
“八卦爐”可以訓練14.5萬億個參數的模型，使用混合精度的性能超9過1 EFLOPS（每秒浮點運算次數），并且有能力訓練174萬億個參數的模型。顯然，這已經相當于人腦中突觸的數量了。
