本文編者為VMware中國資深架構(gòu)師安浦，解決方介紹基于2024年2月21日VMware by Broadcom 在 Tech Field Day 活動(dòng)現(xiàn)場(chǎng)AI Field Day 4主題的案詳系列演講整理。演講嘉賓為Chris Wolf，解決方介紹Senior Director of Engineering, AI and Advanced Services，案詳VMware By Broadcom。解決方介紹

內(nèi)容摘要

-VMware與眾多AI領(lǐng)域ISV廠商有著很好的案詳合作基礎(chǔ)，彼此之間是解決方介紹非競(jìng)爭性關(guān)系，VMware專注于提供AI基礎(chǔ)設(shè)施、案詳優(yōu)化、解決方介紹安全、案詳數(shù)據(jù)隱私和數(shù)據(jù)服務(wù)。解決方介紹

-VMware從自己的案詳AI實(shí)踐中獲益頗多，在有限的解決方介紹預(yù)算內(nèi)實(shí)現(xiàn)了更高效的價(jià)值。

-VMware Private AI解決方案的案詳優(yōu)勢(shì)：

**為企業(yè)AI基礎(chǔ)設(shè)施的構(gòu)建提供更多靈活性和選擇性;

**Private AI解決方案增強(qiáng)了隱私保護(hù)和安全控制能力;

**實(shí)現(xiàn)快速創(chuàng)建AI工作集群并加載預(yù)裝模型，極大簡化部署流程，解決方介紹提高工作效率;

**更加智能地管理AI算力資源，實(shí)現(xiàn)不同應(yīng)用場(chǎng)景之間的GPU算力分配，從而提高資源利用率;

**避免產(chǎn)生新的AI算力池運(yùn)維孤島，實(shí)現(xiàn)與現(xiàn)有運(yùn)營工具集成，降低總體擁有成本;

**在用戶既有的VMware環(huán)境中直接應(yīng)用AI模型， 實(shí)現(xiàn)既有數(shù)據(jù)湖與新的AI模型連接的能力;

**VMware Private AI Foundation，通過與業(yè)界領(lǐng)先AI廠商的產(chǎn)品集成，以及推廣開源參考架構(gòu)，加速將AI計(jì)算和模型引入企業(yè)數(shù)據(jù)中心、公有云和邊緣設(shè)備的進(jìn)程。

-VMware攜手客戶和ISV生態(tài)伙伴共同打造Private AI開放生態(tài)環(huán)境。

VMware與眾多AI領(lǐng)域ISV廠商有著很好的合作基礎(chǔ)

VMware在2023年8月推出了Private AI，其目標(biāo)是加速實(shí)現(xiàn)AI的普惠化，并激發(fā)各行業(yè)的業(yè)務(wù)創(chuàng)新能力。在這一過程中，我們認(rèn)識(shí)到隱私和控制對(duì)于許多組織至關(guān)重要，這也是VMware希望集中關(guān)注并提供支持的領(lǐng)域。

我們注意到，當(dāng)前許多AI獨(dú)立軟件供應(yīng)商(ISV)非常愿意與VMware合作，因?yàn)樵贏I基礎(chǔ)設(shè)施、優(yōu)化、安全、數(shù)據(jù)隱私和服務(wù)方面，VMware并不與他們產(chǎn)生直接競(jìng)爭關(guān)系。VMware明確表示，頂層的AI服務(wù)是這些ISV的專業(yè)領(lǐng)域，而VMware則專注在為AI基礎(chǔ)設(shè)施層面提供平臺(tái)技術(shù)支持。與之相反，在公有云領(lǐng)域中，公有云服務(wù)商經(jīng)常也提供頂層AI服務(wù)，不可避免的構(gòu)成與ISV的直接競(jìng)爭關(guān)系。對(duì)于AI生態(tài)環(huán)境的眾多ISV廠商而言，選擇與VMware合作共同進(jìn)入客戶的項(xiàng)目，需要彼此之間建立充分的信任關(guān)系，VMware清晰的定位有助于解決這一問題。

VMware自身也是AI技術(shù)發(fā)展的受益者

在AI實(shí)際應(yīng)用方面，當(dāng)前許多組織的研發(fā)團(tuán)隊(duì)都在研究代碼輔助生成這一領(lǐng)域，VMware也在該領(lǐng)域進(jìn)行了探索。比如，我們針對(duì)C開發(fā)的ESXi內(nèi)核進(jìn)行了嘗試，選擇了一個(gè)極具挑戰(zhàn)性的使用場(chǎng)景，希望我們的軟件工程師能夠從中受益。當(dāng)我們開始采用這個(gè)基于開源模型打造的內(nèi)部輔助代碼生成解決方案時(shí)，軟件工程師的接受率高達(dá)92%。這讓我們備受鼓舞，證明了我們可以在有限的預(yù)算內(nèi)實(shí)現(xiàn)更高效的價(jià)值。

我們也進(jìn)行了一項(xiàng)試點(diǎn)項(xiàng)目，并正在進(jìn)行額外的測(cè)量工作。我們關(guān)注的是能夠嚴(yán)格控制的AI代碼開發(fā)領(lǐng)域。對(duì)于VMware而言，一個(gè)優(yōu)勢(shì)是我們內(nèi)部本就會(huì)進(jìn)行復(fù)雜的代碼掃描，以確保開源合規(guī)性。我們?cè)谶@方面投入了大量精力，確保對(duì)使用的任何開源代碼都有適當(dāng)?shù)暮弦?guī)引用。正式藉由這些內(nèi)部流程，我們得以取得成功。目前，我們?nèi)栽谶M(jìn)一步努力，以確定如何為AI生成的代碼提供適當(dāng)?shù)暮弦?guī)引用，并努力推動(dòng)這一領(lǐng)域的發(fā)展。

和許多企業(yè)一樣，VMware也具有探索精神。我們持續(xù)關(guān)注著GitHub Copilot的發(fā)展。然而，我們最初的使用案例主要集中在上游開源，因?yàn)檫@不會(huì)對(duì)我們的知識(shí)產(chǎn)權(quán)或其它方面產(chǎn)生任何影響。VMware設(shè)有AI委員會(huì)，并制定了相應(yīng)的治理實(shí)踐。在這個(gè)領(lǐng)域，我們認(rèn)為自己領(lǐng)先于許多尚未建立此類治理機(jī)制的公司。這是一個(gè)持續(xù)努力的過程，但無疑我們已取得了顯著的進(jìn)展。

至于呼叫中心的解決方案，每個(gè)組織都有這方面的需求，無論是高級(jí)信息檢索還是處理醫(yī)療保健、法律、銷售或客戶支持等領(lǐng)域的數(shù)據(jù)。能夠快速為技術(shù)支持人員提供答案，都是具有實(shí)際的商業(yè)價(jià)值的。我們的解決方案可以為你提供幫助，并且在數(shù)據(jù)收集方面，也為用戶提供許多開源解決方案以供選擇。例如，圍繞LlamaIndex的開源社區(qū)提供了許多數(shù)據(jù)采集器，這些解決方案通常可以在幾周內(nèi)甚至更早地被啟用。這些早期使用案例為我們展示了其強(qiáng)大的潛力。

VMware Private AI解決方案的優(yōu)勢(shì)

從VMware Private AI解決方案的特定優(yōu)勢(shì)來看，我們追求的是確保隱私和安全性下的靈活性和選擇性。無論選擇運(yùn)行解決方案的硬件還是軟件，我們都希望組織能夠進(jìn)行有效的AI基礎(chǔ)設(shè)施投資，并享有更多的選擇權(quán)。商業(yè)AI服務(wù)、云AI服務(wù)或開源AI服務(wù)，不同的業(yè)務(wù)線可能有不同的優(yōu)先事項(xiàng)或偏好。因此，投資可以支持上述所有類型AI服務(wù)的基礎(chǔ)設(shè)施，對(duì)于實(shí)現(xiàn)性能優(yōu)化、簡化部署以及降低風(fēng)險(xiǎn)至關(guān)重要。

在部署方面，我們正在做一些其它公司尚未涉足的事情。這也涉及到實(shí)施方式和性能。通過我們的方案，用戶可以在大約3秒鐘內(nèi)啟動(dòng)一個(gè)AI集群，并將您的模型預(yù)加載到內(nèi)存中。這在公有云或裸機(jī)上都是無法實(shí)現(xiàn)的。我們從行業(yè)合作伙伴那里了解到，在裸機(jī)上完成這一操作通常需要5到7分鐘。

用戶關(guān)注如何最有效的管理其IT環(huán)境中的AI算力資源。當(dāng)需要同時(shí)管理多個(gè)項(xiàng)目，而每個(gè)項(xiàng)目都要使用一個(gè)獨(dú)立的集群或云服務(wù)時(shí)，是無法做到這一點(diǎn)，而且這些資源的實(shí)際利用率會(huì)出現(xiàn)高峰與低谷。

客戶選擇VMware的主要原因有如下幾個(gè)：

首先，我們擁有被市場(chǎng)廣泛認(rèn)可的虛擬化基礎(chǔ)設(shè)施層，這意味著客戶可以更加智能地管理內(nèi)存訪問、GPU訪問以及網(wǎng)絡(luò)容量需求，并在這些不同的應(yīng)用場(chǎng)景之間實(shí)現(xiàn)資源的智能分配。正如之前提到的，對(duì)于推理應(yīng)用場(chǎng)景，可能只需要部分GPU資源，而VMware在這方面的技術(shù)非常成熟，例如DRS，它可以根據(jù)不同工作負(fù)載的容量需求進(jìn)行負(fù)載均衡。

其次，從管理操作的角度來看，客戶不希望為AI工作負(fù)載建立獨(dú)立的運(yùn)維孤島，因?yàn)檫@涉及大量的資金投入、新工具、新流程等。通過VMware解決方案，客戶可以利用現(xiàn)有的工具集和長期執(zhí)行的流程，從而避免投資于全新的工具孤島環(huán)境。

這兩點(diǎn)因素使得我們的客戶期望通過我們的解決方案技術(shù)棧實(shí)現(xiàn)更低的總體擁有成本。

第三點(diǎn)是選擇權(quán)。我們專注于這些領(lǐng)域，并希望與合作伙伴在這些領(lǐng)域建立合作關(guān)系。這同樣令客戶感到興奮，因?yàn)樗麄儾幌Ｍ黄冉邮軉我坏腁I技術(shù)堆棧，而是希望保留自己的數(shù)據(jù)和選擇的存儲(chǔ)方式，同時(shí)能夠引入新的AI應(yīng)用服務(wù)。

在某種程度上，VMWare正在拓展自己的業(yè)務(wù)領(lǐng)域，不再僅限于技術(shù)提供商的角色，而是正努力成為客戶的解決方案提供商，但并不僅僅如此。我們也在繼續(xù)支持行業(yè)解決方案提供商，積極推廣開源技術(shù)。我們正在為所有的合作伙伴創(chuàng)建Private AI參考架構(gòu)和指南，并提供我們的應(yīng)用供他們使用，甚至正在考慮將其開源。系統(tǒng)集成商可以根據(jù)需要自定義和支持這些應(yīng)用，并為其客戶提供有償服務(wù)。我們?cè)谀軌蛟黾觾r(jià)值的地方投入資源，分享我們?cè)谛袠I(yè)中的最佳實(shí)踐，以便其它人也能從中受益。

VMware在AI應(yīng)用場(chǎng)景方面的另外一個(gè)重要優(yōu)勢(shì)，就是許多客戶希望將AI引入他們已有的數(shù)據(jù)環(huán)境中，很多組織在大力推廣AI或LLM之前，已經(jīng)成功建立并使用了數(shù)據(jù)湖/倉、商業(yè)智能模型等，而這個(gè)環(huán)境往往是基于VMware底座的。因此，他們希望能夠在現(xiàn)有的VMware環(huán)境中直接應(yīng)用AI模型， 而VMware擁有將這些現(xiàn)有數(shù)據(jù)湖/倉與新的AI模型連接的能力。

以我之前分享的零售案例為例，他們不希望將所有店鋪的數(shù)據(jù)傳輸?shù)街醒霐?shù)據(jù)湖中進(jìn)行推理，而是希望能在本地進(jìn)行快速響應(yīng)。每家店鋪的AI處理僅需兩個(gè)GPU。這是一個(gè)真實(shí)運(yùn)行的AI場(chǎng)景，處理24到36個(gè)走廊上的攝像頭數(shù)據(jù)。雖然我不能透露具體的走廊數(shù)量，但這樣的應(yīng)用場(chǎng)景正在不斷增加，對(duì)VMware來說具有巨大的價(jià)值。客戶希望我們能夠參與這些項(xiàng)目并提供支持。

在解釋為何選擇VMware時(shí)，我還想補(bǔ)充一點(diǎn)，我們已擁有眾多安全功能，包括安全啟動(dòng)和虛擬TPM等，這些功能在保護(hù)模型和數(shù)據(jù)機(jī)密性方面至關(guān)重要。與第三方身份管理的集成可以使用微分段隔離和分布式防火墻等技術(shù)來隔離你的AI模型和服務(wù)，這對(duì)于不斷發(fā)展的組織來說至關(guān)重要。

Private AI解決方案下的AI性能表現(xiàn)優(yōu)異

我想簡要提及一下我們即將進(jìn)行的另一場(chǎng)演講，屆時(shí)我們將深入探討有關(guān)性能的問題。

此次展示僅針對(duì)某一語言模型的推理基準(zhǔn)，與裸金屬相比，在最差情況下，我們?nèi)员３衷谛∮?%左右的水平。而在另一場(chǎng)演講中，我們將展示另一個(gè)基準(zhǔn)，顯示我們相比裸金屬的性能高出5%或6%，這全賴我們的調(diào)度算法以及我們?cè)谶@一領(lǐng)域所做的努力。

在虛擬化的環(huán)境中，可以獲得所有AI計(jì)算的優(yōu)勢(shì)，即便是對(duì)GPU進(jìn)行虛擬化和切片，也不會(huì)犧牲性能。除非真的在意那1%。如果是這樣，裸金屬應(yīng)用場(chǎng)景當(dāng)然是一個(gè)不二選擇。但如果不是，就可以從虛擬化的AI算力底座中獲得巨大的收益。

另外，我們?cè)谀Ｐ陀?xùn)練方面也有一些基準(zhǔn)測(cè)試，通常，大型LLM訓(xùn)練會(huì)在裸金屬或公有云上進(jìn)行，這并非我們的重點(diǎn)。我們的關(guān)注點(diǎn)在于微調(diào)模型。因此，微調(diào)場(chǎng)景和推理場(chǎng)景是你從GPU虛擬化和切片中真正獲得最大好處的地方。若需數(shù)十到數(shù)百個(gè)GPU來訓(xùn)練大型模型，這暫時(shí)可能還不是虛擬化的適用場(chǎng)景，但未來可能會(huì)有所變化。當(dāng)你已擁有足夠的GPU算力容量，并希望將其用于其它用途時(shí)，為何不充分利用呢?

與友商合作，基于VCF構(gòu)建完整Private AI解決方案

VMware提供了一套參考架構(gòu)供客戶選擇，如果他們希望采取更自助的服務(wù)模式，我們也為他們提供了詳盡的指引。然而，我們的長遠(yuǎn)目標(biāo)是希望客戶能夠先構(gòu)建一個(gè)高效的基礎(chǔ)架構(gòu)，基于VMware Cloud Foundation，然后在此基礎(chǔ)上部署Private AI，包括GPU和AI服務(wù)。建議客戶先簡化并優(yōu)化算力基礎(chǔ)設(shè)施環(huán)境，這樣就能更好地獲得最終的成本效益。

客戶可以根據(jù)自己的需求使用VCF。VMware將推出一個(gè)Private AI Foundation，與NVIDIA合作提供附加組件，包括集成的向量數(shù)據(jù)庫支持等額外功能。客戶可以從VCF開始，購買附加組件以獲得這些功能。對(duì)于需要向量數(shù)據(jù)庫的客戶，這將是一個(gè)額外的優(yōu)勢(shì)。我們將所有這些功能整合在一起，提供完整的NVIDIA軟件堆棧，確保所有功能都能無縫集成。

VMware攜手客戶及ISV生態(tài)伙伴共同打造Private AI開放生態(tài)環(huán)境

深入思考我們所精心打造的生態(tài)系統(tǒng)，其重要性不言而喻。正如之前提到的，我們專注于AI基礎(chǔ)設(shè)施及其上運(yùn)行的服務(wù)。我們的Tanzu團(tuán)隊(duì)與客戶緊密合作，提供定制服務(wù)。同時(shí)，我們也非常重視合作伙伴群體，今年將有更多合作伙伴加入，共同創(chuàng)造更多的價(jià)值。這些合作伙伴不僅限于傳統(tǒng)ISV，還包括那些在云中運(yùn)行并意識(shí)到大量本地應(yīng)用場(chǎng)景的企業(yè)。他們希望把握這些機(jī)會(huì)，而與VMware合作是實(shí)現(xiàn)這一目標(biāo)的最佳選擇，因?yàn)槲覀兪冀K與客戶業(yè)務(wù)保持緊密聯(lián)系。

VMware AI解決方案相關(guān)信息鏈接

Artificial Intelligence Solutions | VMware AI: https://www.vmware.com/artificial-intelligence.html

VMware's Approach to Private AI: https://news.vmware.com/technologies/vmware-technology-private-ai

Deploying Enterprise-Ready Generative AI on VMware Private AI: https://core.vmware.com/resource/deploying-enterprise-ready-generative-ai-vmware-vmware-cloud-foundation