電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）10年前谷歌作為互聯(lián)網(wǎng)巨頭，機(jī)器就已經(jīng)嗅到了機(jī)器學(xué)習(xí)的學(xué)習(xí)潛力，尤其是何滿(mǎn)在深度神經(jīng)網(wǎng)絡(luò)（DNN）模型上。就拿語(yǔ)音識(shí)別這樣的推理功能來(lái)說(shuō)，如果要考慮到1億安卓用戶(hù)每天和手機(jī)對(duì)話(huà)三分鐘這樣的機(jī)器高并發(fā)情況，單單只靠CPU的學(xué)習(xí)話(huà)，他們需要將現(xiàn)有數(shù)據(jù)中心的何滿(mǎn)規(guī)模擴(kuò)大至兩倍，才能滿(mǎn)足DNN推理的推理要求。
但擴(kuò)建數(shù)據(jù)中心是機(jī)器一個(gè)投入極高的工作，于是學(xué)習(xí)他們考慮用定制的特定域架構(gòu)的硬件來(lái)減少完成推理任務(wù)的總擁有成本，而且又要能運(yùn)行已經(jīng)為CPU和GPU開(kāi)發(fā)的何滿(mǎn)應(yīng)用。谷歌在2014年開(kāi)啟了TPUv1的推理項(xiàng)目，15個(gè)月后，機(jī)器全新的學(xué)習(xí)TPU硬件就已經(jīng)應(yīng)用到了谷歌的數(shù)據(jù)中心里，連帶架構(gòu)、何滿(mǎn)編譯器、測(cè)試和部署都全部更新了一遍。
那時(shí)GPU在推理這塊的性能也還是超過(guò)CPU的，但TPU的出現(xiàn)改變了這個(gè)格局。與當(dāng)時(shí)英特爾的Haswell CPU相比，TPUv1的能耗比有了80倍的提升，相較當(dāng)時(shí)的英偉達(dá)Tesla K80 GPU，其能耗比也高達(dá)它的30倍。
每代TPU的性能指標(biāo) / 谷歌
谷歌此舉引爆了整個(gè)市場(chǎng)，大家發(fā)現(xiàn)了還有除了CPU、GPU之外的方案。英特爾察覺(jué)后也收購(gòu)了一系列深度學(xué)習(xí)DSA芯片公司，比如Nervana、Movidius、Mobileye和Habana。谷歌在云服務(wù)上的競(jìng)爭(zhēng)對(duì)手們，阿里巴巴和亞馬遜也開(kāi)始打造自己的推理、訓(xùn)練芯片。能耗比之戰(zhàn)下，大家很快也意識(shí)到機(jī)器學(xué)習(xí)帶來(lái)的碳足跡成了下一個(gè)急需解決的問(wèn)題。
碳足跡的反噬
根據(jù)去年在IEEE Spectrum上發(fā)布的《深度學(xué)習(xí)受益遞減》一文中提到，隨著機(jī)器學(xué)習(xí)的發(fā)展，到了2025年，最強(qiáng)的深度學(xué)習(xí)系統(tǒng)在ImageNet數(shù)據(jù)集中進(jìn)行物體識(shí)別時(shí)，錯(cuò)誤率最高只有5%。但訓(xùn)練這樣一個(gè)系統(tǒng)所需要的算力和能耗都是龐大的，更糟糕的是，其排放的二氧化碳將是紐約市一整個(gè)月的排放量。
機(jī)器學(xué)習(xí)的碳排放可以被分為兩種，一種是運(yùn)營(yíng)排放，也就是數(shù)據(jù)中心在運(yùn)行機(jī)器學(xué)習(xí)硬件中產(chǎn)生的碳排放；第二種是整個(gè)生命周期內(nèi)的排放，不僅包含運(yùn)營(yíng)排放，還包含了各個(gè)環(huán)節(jié)的碳排放，比如芯片制造、數(shù)據(jù)中心建造等等。考慮到后者涉及更加復(fù)雜的研究，所以大部分碳足跡的研究都集中在運(yùn)營(yíng)排放上。
至于如何記錄碳排放，這也很簡(jiǎn)單，只需要將訓(xùn)練/推理的時(shí)長(zhǎng)x處理器數(shù)量x每個(gè)處理器的平均功耗x PUE x 每千瓦時(shí)的二氧化碳排放即可。除了最后一項(xiàng)參數(shù)需要從數(shù)據(jù)中心那獲取外，其他的數(shù)據(jù)基本都是公開(kāi)，或取決于機(jī)器學(xué)習(xí)研究者自己的選擇。
如何減少機(jī)器學(xué)習(xí)的碳足跡圖靈獎(jiǎng)得主、谷歌杰出工程師David Patterson教授對(duì)現(xiàn)有的機(jī)器學(xué)習(xí)的研究和工作提出了以下幾點(diǎn)建議。首先，從模型開(kāi)始著手，機(jī)器學(xué)習(xí)研究者需要繼續(xù)開(kāi)發(fā)效率更高的模型，比如谷歌去年發(fā)布的GLaM通用稀疏語(yǔ)言模型，相較GPT-3，它多出了7倍的參數(shù)，在自然語(yǔ)言推理等任務(wù)上都要優(yōu)于GPT-3。但同樣重要的是它的能耗和碳足跡指標(biāo)，根據(jù)谷歌公布的數(shù)據(jù)，與使用V100的GPT-3相比，使用TPUv4的GLaM二氧化碳排放減少了14倍，可見(jiàn)模型對(duì)于碳足跡的影響。其次，在發(fā)布新模型的時(shí)候，他建議也把能耗和碳足跡這樣的數(shù)據(jù)公開(kāi)，這樣有助于促進(jìn)機(jī)器學(xué)習(xí)模型在質(zhì)量上的良性競(jìng)爭(zhēng)。
接著是硬件，他指出我們需要像TPUv4或者A100 GPU等，這類(lèi)機(jī)器學(xué)習(xí)能效比更高的硬件。其實(shí)這一點(diǎn)反倒是最不需要擔(dān)心的，這幾乎是每個(gè)初創(chuàng)AI芯片公司都在嘗試的做法，即便在峰值上不敵這些硬件，也絕對(duì)會(huì)在能效比上盡可能做大極致。
全球大規(guī)模數(shù)據(jù)中心的平均PUE / Uptime Institute
還有就是常見(jiàn)的能效衡量指標(biāo)PUE，大型機(jī)器學(xué)習(xí)負(fù)載往往要在數(shù)據(jù)中心上運(yùn)行，而要讓數(shù)據(jù)中心的PUE接近1并不是一件簡(jiǎn)單的事。根據(jù)Uptime Institute的統(tǒng)計(jì)，各家廠(chǎng)商旗下最大數(shù)據(jù)中心的年度PUE為1.57，就連我國(guó)工信部印發(fā)的《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃（2021-2023）》中提出的最終目標(biāo)也只是將新建大型數(shù)據(jù)中心PUE降低至1.3以下。但好在新建的數(shù)據(jù)中心往往都不會(huì)只滿(mǎn)足于這個(gè)目標(biāo)，而是往1.1乃至1.06這樣的指標(biāo)推進(jìn)。
可這個(gè)指標(biāo)并不是一個(gè)死數(shù)據(jù)，隨著負(fù)載和用量的變動(dòng)，PUE是在持續(xù)波動(dòng)的，不少數(shù)據(jù)中心僅僅在建成時(shí)發(fā)布了能效指標(biāo)，之后就再未公布過(guò)任何數(shù)據(jù)了。在這塊做得最好的也還是谷歌，谷歌每年都會(huì)發(fā)布年度能效報(bào)告，將各個(gè)數(shù)據(jù)中心每個(gè)季度的PUE公布出來(lái)。
不過(guò)僅僅只有極低的PUE只能體現(xiàn)出高能耗比，David Patterson教授認(rèn)為還必須一并公布每個(gè)地區(qū)數(shù)據(jù)中心的清潔能源占比。比如阿里巴巴首次發(fā)布的《2022阿里巴巴環(huán)境、社會(huì)和治理報(bào)告》中就提到了2021年，阿里巴巴在中國(guó)企業(yè)可再生能源購(gòu)買(mǎi)者中排名第一，2022財(cái)年阿里云21.6%的電力來(lái)自清潔能源。
在雙碳目標(biāo)的提出下，我國(guó)其實(shí)已經(jīng)落實(shí)到了機(jī)器學(xué)習(xí)的硬件上，但在軟件和碳足跡透明度這方面還有可以改善的空間。機(jī)器學(xué)習(xí)要想做到消耗更低的算力來(lái)實(shí)現(xiàn)更優(yōu)的效果，就必須從各個(gè)環(huán)節(jié)做到節(jié)能減排。
審核編輯：彭靜
