北京2024年9月18日/美通社/ -- 亞馬遜云科技宣布由英偉達H200 GPU提供支持的亞馬由英 Amazon Elastic ComputeCloud P5e(Amazon EC2 P5e)實例現已正式可用。亞馬遜云科技是遜云宣布首個將英偉達H200 GPU用于生產環境的領先云提供商。與基于英偉達H100 GPU的科技可用Amazon EC2 P5實例相比,Amazon EC2 P5e實例GPU內存容量提升1.7倍,實例GPU內存寬帶提升1.5倍。正式支持Amazon EC2 P5e非常適用于復雜的偉達大型語言模型(LLM)和多模態基礎模型(FM)的訓練、微調和推理,提供用于支持最苛刻和計算密集型的亞馬由英生成式AI應用,如問答、遜云宣布代碼生成、科技可用視頻和圖像生成、實例語音識別等。正式支持
Amazon EC2 P5e實例提供8個英偉達H200 GPU,偉達具有1128GB高帶寬GPU內存,提供同時提供第三代AMDEPYC處理器,亞馬由英2TB系統內存和30TB本地NVMe存儲。Amazon EC2 P5e實例還提供3,200 Gbps的聚合網絡帶寬并支持GPUDirect RDMA,從而能夠繞過CPU進行節點間通信,實現更低的延遲和高效的橫向擴展性能。Amazon EC2 P5e實例具有的更高的內存帶寬、更大的GPU內存容量和對更大的batch sizes的支持,從而顯著提升客戶工作負載的性能、降低成本并簡化運營。
Amazon EC2 P5e實例現已可通過Amazon EC2 Capacity Block for ML工具訪問并在美國東部(俄亥俄州)區域正式可用。
此外,亞馬遜云科技還宣布將推出Amazon EC2 P5en實例,通過將英偉達H200 GPU與定制的第四代英特爾Xeon可擴展處理器相結合支持PCle Gen5,將提供高達四倍的CPU和GPU之間的帶寬,降低網絡延遲,進一步提高工作負載性能。