英偉達(dá)今年4月份那場發(fā)布會，仁勛人你曾看出什么不對勁的騙過地方嗎？

你品，你細(xì)品：

剛剛，在計算機圖形學(xué)頂會SIGGRAPH 2021上，仁勛人英偉達(dá)通過一部紀(jì)錄片自曝：那場發(fā)布會內(nèi)藏玄機～

你看到了老黃，騙過但也沒完全看到。全世因為，界個覺皮這是多月都沒都假一場當(dāng)面“造假”的發(fā)布會。

畫面中老黃的廚房、標(biāo)志性的皮衣，甚至他的表情、動作、頭發(fā)……全都是合成出來的。

這是一場開在元宇宙里的發(fā)布會，發(fā)表演講的是英偉達(dá)CEO黃仁勛的數(shù)字人替身。

彼時彼刻，恰如此時此刻。

黃老板真給自己找了個替身。

沒錯，全世界都被黃仁勛騙了！

整整三個多月誰也沒發(fā)現(xiàn)。

而且不光他自己，大到廚房的家具抽屜：

小到廚房里擺放的金屬罐、甚至是老黃的樂高小人，都是被渲染出來的：

知道真相的我就如同導(dǎo)演李安：

這一切是怎么發(fā)生的呢……

到底怎么造假的？

數(shù)字人想要以假亂真，一定要做到細(xì)節(jié)豐富。

因為人腦專門有一套系統(tǒng)用于識別同類，有一點不對勁之處都會在幾毫秒之內(nèi)引起警覺。

所以要造假的老黃，得到攝影棚里拍上幾千張各種角度的照片，通過一套3D掃描，把他臉上的每道褶子都采集成數(shù)據(jù)。

為了讓效果更逼真，他那件拉風(fēng)的皮衣還得單獨拍。

用得到的數(shù)據(jù)對老黃做3D建模，為了方便后期編輯，先要把他的頭發(fā)薅光！

具體到手指的細(xì)節(jié)，也需要非常仔細(xì)地調(diào)整：

建模完成好，下一步是讓老黃動起來。

不過這里就不需要費時費力地進行手工操作了，AI已經(jīng)能夠勝任。

就像這樣，用上最新的Audio2Face模型，AI可以隨著語音播放自動調(diào)整模型的面部動作表情。

動作是沒問題了，但是皮膚材質(zhì)看起來還是不夠好，和發(fā)布會上的效果沒法比。

這就需要另一個AI，用一張老黃的照片就能匹配上動作合成到動畫里去。

身體動作就不用老黃自己采集了，而是找來專業(yè)的動作捕捉演員，畢竟CEO肯定時間有限。

這樣所有的前期準(zhǔn)備工作就完成了，接下來是渲染。

看看這個自研的Omniverse RTX渲染器：

就真的是字面意義上的實時光線追蹤，移動視角，調(diào)整光線都立刻完成更新。

這背后具體用了多少塊顯卡英偉達(dá)倒是沒具體說，總之是多GPU+云計算才能搞定。

這場虛擬發(fā)布會，總共有34個3D美術(shù)師和15個軟件研究人員參與。

他們一共做了21個版本的數(shù)字老黃，從中選出最像的那個，做出了這場精彩的發(fā)布會。

還真是把全世界都騙過了。

英偉達(dá)“造假”有多強

上面這些“造假”的效果，背后都來自于一個名為Omniverse的平臺。

沒錯，英偉達(dá)研發(fā)的計算機圖形學(xué)（CG）技術(shù)太多，多到已經(jīng)能整合成一個平臺了。

從CG到優(yōu)化技術(shù)，從工具包到引擎，Omniverse都有提供。

光看Omniverse所承載的CG技術(shù)，其實遠(yuǎn)不止這次發(fā)布會用到的“造假”效果，它從渲染、材質(zhì)，到光影、照明（光追、路徑追蹤等）都有涉及，還會不斷更新相關(guān)技術(shù)。

原本只是一紙論文的技術(shù)，可能不久后就被英偉達(dá)放到了Omniverse上，不少都是與AI相關(guān)的技術(shù)：

例如，缺損像素修補、插幀，已經(jīng)被用到老照片和古早視頻的修復(fù)中；還有基于GAN生成超分辨率圖像、直接把2D照片渲染成3D場景，都已經(jīng)能直接在平臺上使用……

Omniverse上的渲染技術(shù)，究竟達(dá)到一個什么樣的水準(zhǔn)？

據(jù)英偉達(dá)表示，平臺現(xiàn)在可以實時實現(xiàn)電影級別的畫質(zhì)渲染。

以渲染中非常重要的光源模擬為例，我們都知道，真實世界的光源多種多樣，我們看到的其實是各種光照下的景物。

傳統(tǒng)的計算機渲染，至少需要將光源迭代30+次，才能達(dá)到逼真到毛發(fā)的效果，即使用最先進的機器渲染，每一幀也基本都需要幾十秒。

用上Neural Radiance Cache等技術(shù)后，結(jié)合RTX GPU硬件和Omniverse平臺，光源渲染直接就能實時進行。

例如，這次GTC大會上對于主機的渲染，就采用了Omniverse平臺的技術(shù)：

除此之外，包括LOD自動生成等技術(shù)也能用AI節(jié)約計算量，同時保證足夠好的渲染效果。

不止是“以假亂真”的渲染效果，Omniverse還能完成更多意想不到的AI技術(shù)。

英偉達(dá)利用數(shù)字人實時渲染技術(shù)，在Omniverse中就能構(gòu)建更逼真的、更符合物理定律的人類模型。

例如，幫助車輛、自主機器、機器人等更好地識別，真實的人類是什么樣的，從而更好地設(shè)計工廠（圖中為數(shù)字人）：

這是英偉達(dá)在Omniverse上更新了另一項數(shù)字孿生技術(shù)（Issac Digital Twin），將機器人AI放到虛擬環(huán)境中訓(xùn)練完成后，可以直接部署到真實環(huán)境中。

目前，寶馬已經(jīng)用英偉達(dá)的數(shù)字孿生技術(shù)，對數(shù)字工廠的生產(chǎn)流程進行了優(yōu)化，效率直接拉高30%。

看看這個渲染的速度：

具體渲染效果來看，連光照和細(xì)節(jié)都能被模擬出來。

不止是寶馬工廠，包括機器人仿真、自駕車仿真在內(nèi)的一系列技術(shù)，也會用到Omniverse平臺。

例如，自動駕駛和工廠的AI檢測可能存在行人誤判，將街頭、公告張貼的人臉圖片識別為行人，導(dǎo)致事故發(fā)生。將逼真的數(shù)字人和渲染等技術(shù)結(jié)合后，就能在仿真環(huán)境訓(xùn)練下模擬行人，讓AI學(xué)會判斷圖片和真人的區(qū)別。

從效果到效率，英偉達(dá)都直接刷新了人們對“元宇宙”的認(rèn)知。

重新定義「元宇宙」

號稱“永遠(yuǎn)實時在線”的Omniverse，是英偉達(dá)打造元宇宙的關(guān)鍵。

它不僅能跨平臺支持所有用戶的物理渲染、模擬和仿真，還能讓創(chuàng)作者、審核者在任何地方，只通過軟件應(yīng)用就在一個共享的虛擬世界中進行合作。

畢竟，Omniverse本身就構(gòu)建于通用場景描述 (Universal Scene Description，簡稱USD)之上。

這是一種開源3D場景數(shù)據(jù)標(biāo)準(zhǔn)和文件格式，USD之于Omniverse就相當(dāng)于HTML之于互聯(lián)網(wǎng)。

USD由皮克斯開發(fā)，現(xiàn)在成了英偉達(dá)、皮克斯和蘋果共同推廣的行業(yè)標(biāo)準(zhǔn)。USD注重非破壞性便捷和跨軟件協(xié)作，是x86、arm平臺以及各種軟件都程能夠統(tǒng)一到Omniverse平臺上的基礎(chǔ)。

目前，全球已經(jīng)有500多家公司的專業(yè)人士上手使用了Omniverse。這其中包括美國航天航空制造商洛克希德馬丁公司（用它做山火模擬）、曾榮獲艾美獎的《南方公園》工作室等知名企業(yè)。

國內(nèi)央視的《飛向月球》太空紀(jì)錄片，也同樣有用到Omniverse，尤其是里面的數(shù)字人：

從Omniverse硬件和軟件的支持情況來看，英偉達(dá)這一次更新也真的是誠意滿滿。

“將數(shù)百萬新用戶帶入元宇宙世界”，真的不是說說而已。

首先，Omniverse這一次集成了Blender和Adobe來實現(xiàn)大規(guī)模擴展。

Blender是全球領(lǐng)先的開源3D動畫工具，他們將在Blender 3.0版本加入USD支持，使用戶能夠在Blender中直接訪問Omniverse制作流程，這無疑會讓創(chuàng)作者們的效率直線up。

Adobe就不用多介紹了，家喻戶曉。

現(xiàn)在，他們正在和英偉達(dá)合作開發(fā)一個為Omniverse提供Substance Material支持的 Substance 3D插件。

使用這個插件，可以讓用戶在Omniverse中直接調(diào)整Substance 3D中的素材。

這能為用戶在改稿過程中，節(jié)省導(dǎo)出、重新上傳的時間。

與此同時，英偉達(dá)還發(fā)布了一個人工智能3D建模擴展：GANverse3D–Image2Car。

它可以讓AI進行3D建模變得更加容易。

只需通過一張汽車照片，GANverse3D就能建立出一個虛擬的3D模型。

這無疑讓3D畫師們創(chuàng)建場景變得更輕松了。

其次，在硬件上，NVIDIA RTX和GeForce RTX系列都支持Omniverse。

這不，英偉達(dá)同時還發(fā)布了小巧、節(jié)能的RTX A2000，它適用于各種標(biāo)準(zhǔn)和小型工作站，可以說是專為創(chuàng)作者的日常工作而設(shè)計。

英偉達(dá)放言稱，A2000將會成為數(shù)百萬設(shè)計師進入元宇宙的門戶。

去年12月發(fā)布公測版以來，已經(jīng)有超過5萬名個人創(chuàng)作者下載了Omniverse。

而Omniverse的生態(tài)系統(tǒng)也在持續(xù)壯大，Adobe、Autodesk、Bentley Systems等多家軟件公司都已加入Omniverse的生態(tài)圈。

現(xiàn)在，Nvidia Omniverse企業(yè)版的訪問名額已經(jīng)“開搶”了，華碩、BOXX Technologies、戴爾、惠普、聯(lián)想、必恩威和超微等平臺上都能使用。

不知道以后英偉達(dá)的發(fā)布會還能不能當(dāng)真（手動狗頭）。

反正老黃的假臉是一臉真誠～

One More Thing

回到4月那場發(fā)布會。我們在英偉達(dá)自曝紀(jì)錄片中，隱約讀出另一個事實，當(dāng)時的老黃是真真假假，虛實交替的。

那么，哪一段是真？哪一段是假？

作為找茬八級團隊，怎么能這么輕易就給人騙過去？于是，我們重新去回看了一遍4月份那場發(fā)布會。

果不其然，我們發(fā)現(xiàn)了一些不對勁的地方。（注意內(nèi)搭衣服領(lǐng)口和皮衣）

這是老黃第一次在發(fā)布會上出現(xiàn)時候的樣子。看上去問題不大是吧？OK，接著往下看：

這是剛剛那張圖4分鐘之后，老黃的樣子。注意到什么不一樣的地方了嗎？

請注意，他身上忽然間變成了另外一件皮衣，里面穿的也從Polo衫變成了圓領(lǐng)T恤。

如果你再仔細(xì)一點看，你會發(fā)現(xiàn)他廚房有些物品的放置也變了。

還有個最直觀的區(qū)別：老黃本人，還有他背后的廚房，怎么好像分辨率突然提上去了（不是我網(wǎng)絡(luò)問題啊）？

高到腦門上的抬頭紋都多了幾條。

這還沒完。

到發(fā)布會后半段，老黃穿著同一件皮衣，可是里面的衣服又換回了Polo衫 。

過了一會，他搖身一變，把皮衣和Polo衫全換了。

好家伙，你擱這玩排列組合呢？

真搞不懂，老黃來來回回在這換裝，是圖個啥。除非這是英偉達(dá)故意的。

于是，我們拿著放大鏡去看了視頻，終于注意到，這段老黃手上的動作，有明顯的不自然。而且畫面也是糊的。

懂了：）

總之，一段視頻騙了全世界3個月，不得不說，黃老板真是又高又硬。

贗品是個好東西！

英偉達(dá)紀(jì)錄片回看：
https://www.nvidia.cn/events/siggraph/

face-vid2vid相關(guān)論文：
https://arxiv.org/abs/2011.15126

參考鏈接：
[1]https://blogs.nvidia.com/blog/2021/08/10/omniverse-connector-extension-plugin-siggraph/
[2]https://venturebeat.com/2021/08/10/nvidia-opens-its-metaverse-for-engineers-by-adding-millions-of-blender-users-to-omniverse/
[3]https://www.youtube.com/watch?v=2fddvn16WIw

出处：头条号 @量子位