我們身邊的神經小工具不斷地在充實著我們的生活 —— 智能手表可以檢測我們的生命體征，跟蹤我們的網絡健康狀況；家用揚聲器通過聽我們的對話來識別我們的聲音；智能手機還能夠扮演語法學家的角色，觀察我們寫了什么來自動修復我們的結構特殊打字錯誤。我們很感激這些便利，訓練但我們與電子設備共享的神經信息并不總是在我們的所控范圍內。

機器學習可能需要很重的網絡硬件，所以像手機這樣的結構“邊緣”設備通常會向中央服務器發送原始數據，然后返回經過訓練的訓練算法。然而，神經有些人希望訓練能夠在本地進行。網絡一種新的結構人工智能訓練方法擴展了小型設備的訓練能力，可能有助于保護隱私。訓練

最強大的神經機器學習系統使用神經網絡，復雜的網絡函數充滿可調參數。在訓練期間，結構網絡接收輸入（如一組像素），生成輸出（如標簽“cat”），將其輸出與正確答案進行比較，并調整其參數，以便下次做得更好。為了知道如何調整每個內部旋鈕，網絡需要記住每個旋鈕的效果，但它們的數量通常為數百萬甚至數十億。這需要大量內存。訓練一個神經網絡可能需要數百倍的記憶，而僅僅使用一個（也稱為“推理”）。在后一種情況下，一旦將信息傳遞到下一層，內存就可以忘記網絡的每一層做了什么。

為了減少訓練階段的記憶需求，研究人員采用了一些技巧。其中一種稱為分頁或卸載，機器將這些激活信息從短期內存移動到較慢但更豐富的內存類型，如閃存或SD卡，然后在需要時將其恢復。在另一種稱為重物質化的方法中，機器刪除激活，然后稍后再次計算。加州大學伯克利分校的計算機科學家、描述了該創新的論文的主要作者Shishir Patil說，它們結合使用了“次優”的“啟發式”，通常需要大量能量。Patil及其合作者報告的創新將分頁和重新實體化方法結合了起來。

“將這兩種技術很好地結合到這個優化問題中，然后解決它，這真的很好，”加州大學河濱分校的計算機科學家Jiasi Chen說，他從事邊緣計算研究，但沒有參與這項工作。

7月，Patil在巴爾的摩舉行的機器學習國際會議上介紹了他的系統，稱為POET（private optimal energy training）。他首先給出了POET設備的技術細節，以及他所希望訓練的神經網絡結構的信息。他指定了內存預算和時間預算。然后，他要求設備創建一個培訓流程，將能源消耗降至最低。該進程可能決定對某些重新計算效率低下的激活進行分頁，但對其他易于重做但需要大量內存存儲的激活進行重新實體化。

突破性創新的關鍵之一在于將問題定義為混合整數線性規劃（MILP）難題，即一組約束和變量之間的關系。對于每個設備和網絡架構，POET將其變量插入Patil手工編制的MILP程序，然后找到最佳解決方案。Chen說：“一個主要的挑戰實際上是以一種好的方式來闡述這個問題，這樣你就可以把它輸入到一個解決方案中。因此，您可以捕獲所有真實的系統動態，如能量、延遲和內存。”

該團隊在四個不同的處理器上測試了POET，其RAM范圍從32KB到8GB。研究人員分別訓練了三種不同的神經網絡結構：兩種在圖像識別中流行的類型（VGG16和ResNet-18），以及一種流行的語言處理網絡（BERT）。在許多測試中，該系統可以減少大約80%的內存使用量，而不會大幅增加能耗。可比較的方法不能同時做到這兩個。據Patil稱，研究表明，BERT現在可以在最小的設備上進行訓練，這在以前是不可能的。

Patil說：“當我們開始的時候，POET基本上是一個很好的主意。”現在，幾家公司已經開始使用它，并且有一家大公司已經在其智能揚聲器中試用了它。Patil說，非常棒的一點是，POET不會通過“量化”或縮寫激活來降低網絡精度，從而節省內存。因此，設計網絡的團隊不必與實現網絡的團隊協調，就精度和內存之間的權衡進行談判。

Patil指出，除了隱私問題外，使用POET還有其他原因。一些設備需要在本地訓練網絡，以解決互聯網連接很差或沒有連接的問題 —— 這些設備包括在農場、潛艇或太空中使用的設備。由于數據傳輸需要太多能量，其他設置可以從創新中受益。POET還可以使大型設備互聯網服務器更節省內存和能源。但對于數據保密，Patil說，“我想這是非常及時的，對吧？”當大型設備——互聯網服務器——訓練大型網絡時，也可能從POET中受益。

審核編輯：彭靜