大模型是神器通用人工智能的底座，但大模型訓練對算力平臺的大模依賴非常大。大模型算力平臺是算署指支撐大模型訓練和推理部署的算力基礎設施，包括業界最新的力平加速卡、高速互聯網絡、臺部高性能分布式存儲系統、開源液冷系統和高效易用的神器大模型研發工具和框架。在算力平臺的大模部署過程中，大模型研發機構常常需要面對一系列的算署問題：大模型算力平臺是什么樣的？如何快速構建大模型算力平臺？如何確保算力平臺穩定可靠？如何提升部署效率？如何提升算力平臺的性能……這些問題能否順利解決，直接關系到大模型研發和應用落地的力平速度。
為了幫助用戶加速大模型的臺部技術創新與應用落地，浪潮信息發布了大模型智算軟件棧OGAI（Open GenAI Infra）。開源OGAI由5層架構組成，神器從L0到L4分別對應于基礎設施層的大模智算中心OS產品、系統環境層的算署PODsys產品、調度平臺層的AIStation產品、模型工具層的YLink產品和多模納管層的MModel產品。其中L1層PODsys是一個為客戶提供智算集群系統環境部署方案的開源項目，具備基礎設施環境安裝、環境部署、用戶管理、系統監控和資源調度等能力。用戶只需執行兩條簡單的命令，即可完成大模型算力平臺的部署，將大模型算力平臺部署效率提升11倍，幫助用戶順利邁出大模型研發的第一步。（下載地址：https://podsys.ai/）
大模型算力平臺部署難題亟待求解
大模型參數量和訓練數據復雜性快速增加，對AI算力平臺的建設提出了新的要求，即需要從數據中心規模化算力部署的角度，統籌考慮大模型分布式訓練對計算、網絡和存儲的需求特點，并集成平臺軟件、結合應用實踐，充分關注數據傳輸、任務調度、并行優化、資源利用率等，設計和構建高性能、高速互聯、存算平衡的可擴展集群系統，以滿足AI大模型的訓練需求。
強大的大模型算力平臺不僅需要高性能的CPU、GPU、存儲、網絡等硬件設備，還需要考慮不同硬件和軟件之間的兼容性和版本選擇，確保驅動和工具的適配性和穩定性。當算力平臺的規模從十幾臺服務器擴展到幾百臺，平臺部署難度會呈指數級上升。
首先，算力平臺部署需要的相關驅動程序、軟件包往往高達數十個，正確安裝、部署并優化這些驅動程序與軟件，需要專業的運維工程師和大量調試時間，嚴重影響部署效率。其次，為了確保算力平臺的高性能和穩定運行，需要驗證不同硬件環境下的軟件適配，優化BIOS、操作系統、底層驅動、文件系統和網絡等多項指標，找到最優的選擇，這一工作同樣費時費力。此外，算力平臺的資源狀態處于時刻的變動中，如果不進行合理的資源調度與管理，很容易影響平臺的資源利用率。
PODsys讓大模型算力平臺部署"易如反掌"
PODsys專注于大模型算力平臺部署場景，提供包括基礎設施環境安裝、環境部署、用戶管理、系統監控和資源調度在內的完整工具鏈，旨在打造一個開源、高效、兼容、易用的智算集群系統方案。
PODsys整合了大模型算力平臺部署所需的數十個驅動、軟件等安裝包以及對應的依賴和兼容關系，并提供了一系列的簡化部署的腳本工具。使用這些工具只需要簡單2個步驟，PODsys即可幫助用戶快速部署大模型算力平臺。
步驟1：使用docker run命令快速啟動PODsys系統。
PODsys系統集成了大模型算力平臺部署所需的操作系統、GPU驅動、網卡驅動、通信加速庫等數十個驅動程序、軟件和安裝包，并提供了一系列腳本工具來簡化部署，讓用戶可以快速安裝、配置和更新集群環境。PODsys大量選用了業界廣泛使用的主流開源系統、工具、框架和軟件，來保障整個部署方案的開放性、兼容性和穩定性。
步驟2：使用install_client命令快速部署大模型算力平臺的并行軟件環境。
PODsys將單機部署方式改成集群部署方式，可將部署效率提升11倍以上。在管理節點運行一句簡單的命令（install_client.sh），即可完成大模型算力平臺的環境配置，集成了高速文件系統接口、自動化運維工具、NVDIA CUDA編程框架、NCCL高性能通信庫，支持NGC加速平臺等功能。并能實現多用戶、多租戶管理集群。
PODsys提供了全面的系統監控和管理，幫助用戶實時監控集群的狀態和性能指標。通過可視化的界面，用戶可以查看集群資源的使用情況、作業的執行情況和性能瓶頸，從而及時調整集群配置和優化作業性能，來保證算力平臺的高性能和穩定運行。
此外，PODsys具備高效的資源調度和作業管理功能，可以根據用戶的需求自動調度和管理作業，確保集群的資源利用率和作業的執行效率。
伴隨著大模型的快速應用，算力平臺的魯棒性、易用性、部署效率成為用戶關注的首要問題。針對商業用戶，PODsys還提供專業的算力平臺性能調優服務。
總之，PODsys提供了一套完整的工具鏈，將大模型平臺部署變得像系統安裝一樣簡單，讓用戶省時、省力地部署大模型算力平臺，助力大模型創新走好第一步。
