本文編者為VMware中國資深架構(gòu)師安浦，解決方介紹基于2024年2月21日VMware by Broadcom 在 Tech Field Day 活動現(xiàn)場AI Field Day 4主題的案詳系列演講整理。演講嘉賓為Chris Wolf，解決方介紹Senior Director of Engineering, AI and Advanced Services，案詳VMware By Broadcom。解決方介紹

內(nèi)容摘要

-VMware與眾多AI領(lǐng)域ISV廠商有著很好的案詳合作基礎(chǔ)，彼此之間是解決方介紹非競爭性關(guān)系，VMware專注于提供AI基礎(chǔ)設(shè)施、案詳優(yōu)化、解決方介紹安全、案詳數(shù)據(jù)隱私和數(shù)據(jù)服務(wù)。解決方介紹

-VMware從自己的案詳AI實踐中獲益頗多，在有限的解決方介紹預(yù)算內(nèi)實現(xiàn)了更高效的價值。

-VMware Private AI解決方案的案詳優(yōu)勢：

**為企業(yè)AI基礎(chǔ)設(shè)施的構(gòu)建提供更多靈活性和選擇性;

**Private AI解決方案增強了隱私保護和安全控制能力;

**實現(xiàn)快速創(chuàng)建AI工作集群并加載預(yù)裝模型，極大簡化部署流程，解決方介紹提高工作效率;

**更加智能地管理AI算力資源，實現(xiàn)不同應(yīng)用場景之間的GPU算力分配，從而提高資源利用率;

**避免產(chǎn)生新的AI算力池運維孤島，實現(xiàn)與現(xiàn)有運營工具集成，降低總體擁有成本;

**在用戶既有的VMware環(huán)境中直接應(yīng)用AI模型， 實現(xiàn)既有數(shù)據(jù)湖與新的AI模型連接的能力;

**VMware Private AI Foundation，通過與業(yè)界領(lǐng)先AI廠商的產(chǎn)品集成，以及推廣開源參考架構(gòu)，加速將AI計算和模型引入企業(yè)數(shù)據(jù)中心、公有云和邊緣設(shè)備的進程。

-VMware攜手客戶和ISV生態(tài)伙伴共同打造Private AI開放生態(tài)環(huán)境。

VMware與眾多AI領(lǐng)域ISV廠商有著很好的合作基礎(chǔ)

VMware在2023年8月推出了Private AI，其目標(biāo)是加速實現(xiàn)AI的普惠化，并激發(fā)各行業(yè)的業(yè)務(wù)創(chuàng)新能力。在這一過程中，我們認(rèn)識到隱私和控制對于許多組織至關(guān)重要，這也是VMware希望集中關(guān)注并提供支持的領(lǐng)域。

我們注意到，當(dāng)前許多AI獨立軟件供應(yīng)商(ISV)非常愿意與VMware合作，因為在AI基礎(chǔ)設(shè)施、優(yōu)化、安全、數(shù)據(jù)隱私和服務(wù)方面，VMware并不與他們產(chǎn)生直接競爭關(guān)系。VMware明確表示，頂層的AI服務(wù)是這些ISV的專業(yè)領(lǐng)域，而VMware則專注在為AI基礎(chǔ)設(shè)施層面提供平臺技術(shù)支持。與之相反，在公有云領(lǐng)域中，公有云服務(wù)商經(jīng)常也提供頂層AI服務(wù)，不可避免的構(gòu)成與ISV的直接競爭關(guān)系。對于AI生態(tài)環(huán)境的眾多ISV廠商而言，選擇與VMware合作共同進入客戶的項目，需要彼此之間建立充分的信任關(guān)系，VMware清晰的定位有助于解決這一問題。

VMware自身也是AI技術(shù)發(fā)展的受益者

在AI實際應(yīng)用方面，當(dāng)前許多組織的研發(fā)團隊都在研究代碼輔助生成這一領(lǐng)域，VMware也在該領(lǐng)域進行了探索。比如，我們針對C開發(fā)的ESXi內(nèi)核進行了嘗試，選擇了一個極具挑戰(zhàn)性的使用場景，希望我們的軟件工程師能夠從中受益。當(dāng)我們開始采用這個基于開源模型打造的內(nèi)部輔助代碼生成解決方案時，軟件工程師的接受率高達92%。這讓我們備受鼓舞，證明了我們可以在有限的預(yù)算內(nèi)實現(xiàn)更高效的價值。

我們也進行了一項試點項目，并正在進行額外的測量工作。我們關(guān)注的是能夠嚴(yán)格控制的AI代碼開發(fā)領(lǐng)域。對于VMware而言，一個優(yōu)勢是我們內(nèi)部本就會進行復(fù)雜的代碼掃描，以確保開源合規(guī)性。我們在這方面投入了大量精力，確保對使用的任何開源代碼都有適當(dāng)?shù)暮弦?guī)引用。正式藉由這些內(nèi)部流程，我們得以取得成功。目前，我們?nèi)栽谶M一步努力，以確定如何為AI生成的代碼提供適當(dāng)?shù)暮弦?guī)引用，并努力推動這一領(lǐng)域的發(fā)展。

和許多企業(yè)一樣，VMware也具有探索精神。我們持續(xù)關(guān)注著GitHub Copilot的發(fā)展。然而，我們最初的使用案例主要集中在上游開源，因為這不會對我們的知識產(chǎn)權(quán)或其它方面產(chǎn)生任何影響。VMware設(shè)有AI委員會，并制定了相應(yīng)的治理實踐。在這個領(lǐng)域，我們認(rèn)為自己領(lǐng)先于許多尚未建立此類治理機制的公司。這是一個持續(xù)努力的過程，但無疑我們已取得了顯著的進展。

至于呼叫中心的解決方案，每個組織都有這方面的需求，無論是高級信息檢索還是處理醫(yī)療保健、法律、銷售或客戶支持等領(lǐng)域的數(shù)據(jù)。能夠快速為技術(shù)支持人員提供答案，都是具有實際的商業(yè)價值的。我們的解決方案可以為你提供幫助，并且在數(shù)據(jù)收集方面，也為用戶提供許多開源解決方案以供選擇。例如，圍繞LlamaIndex的開源社區(qū)提供了許多數(shù)據(jù)采集器，這些解決方案通?？梢栽趲字軆?nèi)甚至更早地被啟用。這些早期使用案例為我們展示了其強大的潛力。

VMware Private AI解決方案的優(yōu)勢

從VMware Private AI解決方案的特定優(yōu)勢來看，我們追求的是確保隱私和安全性下的靈活性和選擇性。無論選擇運行解決方案的硬件還是軟件，我們都希望組織能夠進行有效的AI基礎(chǔ)設(shè)施投資，并享有更多的選擇權(quán)。商業(yè)AI服務(wù)、云AI服務(wù)或開源AI服務(wù)，不同的業(yè)務(wù)線可能有不同的優(yōu)先事項或偏好。因此，投資可以支持上述所有類型AI服務(wù)的基礎(chǔ)設(shè)施，對于實現(xiàn)性能優(yōu)化、簡化部署以及降低風(fēng)險至關(guān)重要。

在部署方面，我們正在做一些其它公司尚未涉足的事情。這也涉及到實施方式和性能。通過我們的方案，用戶可以在大約3秒鐘內(nèi)啟動一個AI集群，并將您的模型預(yù)加載到內(nèi)存中。這在公有云或裸機上都是無法實現(xiàn)的。我們從行業(yè)合作伙伴那里了解到，在裸機上完成這一操作通常需要5到7分鐘。

用戶關(guān)注如何最有效的管理其IT環(huán)境中的AI算力資源。當(dāng)需要同時管理多個項目，而每個項目都要使用一個獨立的集群或云服務(wù)時，是無法做到這一點，而且這些資源的實際利用率會出現(xiàn)高峰與低谷。

客戶選擇VMware的主要原因有如下幾個：

首先，我們擁有被市場廣泛認(rèn)可的虛擬化基礎(chǔ)設(shè)施層，這意味著客戶可以更加智能地管理內(nèi)存訪問、GPU訪問以及網(wǎng)絡(luò)容量需求，并在這些不同的應(yīng)用場景之間實現(xiàn)資源的智能分配。正如之前提到的，對于推理應(yīng)用場景，可能只需要部分GPU資源，而VMware在這方面的技術(shù)非常成熟，例如DRS，它可以根據(jù)不同工作負載的容量需求進行負載均衡。

其次，從管理操作的角度來看，客戶不希望為AI工作負載建立獨立的運維孤島，因為這涉及大量的資金投入、新工具、新流程等。通過VMware解決方案，客戶可以利用現(xiàn)有的工具集和長期執(zhí)行的流程，從而避免投資于全新的工具孤島環(huán)境。

這兩點因素使得我們的客戶期望通過我們的解決方案技術(shù)棧實現(xiàn)更低的總體擁有成本。

第三點是選擇權(quán)。我們專注于這些領(lǐng)域，并希望與合作伙伴在這些領(lǐng)域建立合作關(guān)系。這同樣令客戶感到興奮，因為他們不希望被迫接受單一的AI技術(shù)堆棧，而是希望保留自己的數(shù)據(jù)和選擇的存儲方式，同時能夠引入新的AI應(yīng)用服務(wù)。

在某種程度上，VMWare正在拓展自己的業(yè)務(wù)領(lǐng)域，不再僅限于技術(shù)提供商的角色，而是正努力成為客戶的解決方案提供商，但并不僅僅如此。我們也在繼續(xù)支持行業(yè)解決方案提供商，積極推廣開源技術(shù)。我們正在為所有的合作伙伴創(chuàng)建Private AI參考架構(gòu)和指南，并提供我們的應(yīng)用供他們使用，甚至正在考慮將其開源。系統(tǒng)集成商可以根據(jù)需要自定義和支持這些應(yīng)用，并為其客戶提供有償服務(wù)。我們在能夠增加價值的地方投入資源，分享我們在行業(yè)中的最佳實踐，以便其它人也能從中受益。

VMware在AI應(yīng)用場景方面的另外一個重要優(yōu)勢，就是許多客戶希望將AI引入他們已有的數(shù)據(jù)環(huán)境中，很多組織在大力推廣AI或LLM之前，已經(jīng)成功建立并使用了數(shù)據(jù)湖/倉、商業(yè)智能模型等，而這個環(huán)境往往是基于VMware底座的。因此，他們希望能夠在現(xiàn)有的VMware環(huán)境中直接應(yīng)用AI模型， 而VMware擁有將這些現(xiàn)有數(shù)據(jù)湖/倉與新的AI模型連接的能力。

以我之前分享的零售案例為例，他們不希望將所有店鋪的數(shù)據(jù)傳輸?shù)街醒霐?shù)據(jù)湖中進行推理，而是希望能在本地進行快速響應(yīng)。每家店鋪的AI處理僅需兩個GPU。這是一個真實運行的AI場景，處理24到36個走廊上的攝像頭數(shù)據(jù)。雖然我不能透露具體的走廊數(shù)量，但這樣的應(yīng)用場景正在不斷增加，對VMware來說具有巨大的價值。客戶希望我們能夠參與這些項目并提供支持。

在解釋為何選擇VMware時，我還想補充一點，我們已擁有眾多安全功能，包括安全啟動和虛擬TPM等，這些功能在保護模型和數(shù)據(jù)機密性方面至關(guān)重要。與第三方身份管理的集成可以使用微分段隔離和分布式防火墻等技術(shù)來隔離你的AI模型和服務(wù)，這對于不斷發(fā)展的組織來說至關(guān)重要。

Private AI解決方案下的AI性能表現(xiàn)優(yōu)異

我想簡要提及一下我們即將進行的另一場演講，屆時我們將深入探討有關(guān)性能的問題。

此次展示僅針對某一語言模型的推理基準(zhǔn)，與裸金屬相比，在最差情況下，我們?nèi)员３衷谛∮?%左右的水平。而在另一場演講中，我們將展示另一個基準(zhǔn)，顯示我們相比裸金屬的性能高出5%或6%，這全賴我們的調(diào)度算法以及我們在這一領(lǐng)域所做的努力。

在虛擬化的環(huán)境中，可以獲得所有AI計算的優(yōu)勢，即便是對GPU進行虛擬化和切片，也不會犧牲性能。除非真的在意那1%。如果是這樣，裸金屬應(yīng)用場景當(dāng)然是一個不二選擇。但如果不是，就可以從虛擬化的AI算力底座中獲得巨大的收益。

另外，我們在模型訓(xùn)練方面也有一些基準(zhǔn)測試，通常，大型LLM訓(xùn)練會在裸金屬或公有云上進行，這并非我們的重點。我們的關(guān)注點在于微調(diào)模型。因此，微調(diào)場景和推理場景是你從GPU虛擬化和切片中真正獲得最大好處的地方。若需數(shù)十到數(shù)百個GPU來訓(xùn)練大型模型，這暫時可能還不是虛擬化的適用場景，但未來可能會有所變化。當(dāng)你已擁有足夠的GPU算力容量，并希望將其用于其它用途時，為何不充分利用呢?

與友商合作，基于VCF構(gòu)建完整Private AI解決方案

VMware提供了一套參考架構(gòu)供客戶選擇，如果他們希望采取更自助的服務(wù)模式，我們也為他們提供了詳盡的指引。然而，我們的長遠目標(biāo)是希望客戶能夠先構(gòu)建一個高效的基礎(chǔ)架構(gòu)，基于VMware Cloud Foundation，然后在此基礎(chǔ)上部署Private AI，包括GPU和AI服務(wù)。建議客戶先簡化并優(yōu)化算力基礎(chǔ)設(shè)施環(huán)境，這樣就能更好地獲得最終的成本效益。

客戶可以根據(jù)自己的需求使用VCF。VMware將推出一個Private AI Foundation，與NVIDIA合作提供附加組件，包括集成的向量數(shù)據(jù)庫支持等額外功能?？蛻艨梢詮腣CF開始，購買附加組件以獲得這些功能。對于需要向量數(shù)據(jù)庫的客戶，這將是一個額外的優(yōu)勢。我們將所有這些功能整合在一起，提供完整的NVIDIA軟件堆棧，確保所有功能都能無縫集成。

VMware攜手客戶及ISV生態(tài)伙伴共同打造Private AI開放生態(tài)環(huán)境

深入思考我們所精心打造的生態(tài)系統(tǒng)，其重要性不言而喻。正如之前提到的，我們專注于AI基礎(chǔ)設(shè)施及其上運行的服務(wù)。我們的Tanzu團隊與客戶緊密合作，提供定制服務(wù)。同時，我們也非常重視合作伙伴群體，今年將有更多合作伙伴加入，共同創(chuàng)造更多的價值。這些合作伙伴不僅限于傳統(tǒng)ISV，還包括那些在云中運行并意識到大量本地應(yīng)用場景的企業(yè)。他們希望把握這些機會，而與VMware合作是實現(xiàn)這一目標(biāo)的最佳選擇，因為我們始終與客戶業(yè)務(wù)保持緊密聯(lián)系。

VMware AI解決方案相關(guān)信息鏈接

Artificial Intelligence Solutions | VMware AI: https://www.vmware.com/artificial-intelligence.html

VMware's Approach to Private AI: https://news.vmware.com/technologies/vmware-technology-private-ai

Deploying Enterprise-Ready Generative AI on VMware Private AI: https://core.vmware.com/resource/deploying-enterprise-ready-generative-ai-vmware-vmware-cloud-foundation