AI大模型的人類安全問(wèn)題越發(fā)成為業(yè)界關(guān)心的焦點(diǎn)問(wèn)題。在OpenAI公司“宮斗”事件中，咋監(jiān)自己CEO山姆·奧爾特曼被認(rèn)為是督比的支持引進(jìn)商業(yè)資本推動(dòng)技術(shù)發(fā)展的“激進(jìn)派”，而原首席科學(xué)家蘇茨克維則是聰明注重安全把關(guān)的“保守派”。

雖然在激烈內(nèi)斗后，首說(shuō)奧爾特曼上演“王者歸來(lái)”，席科學(xué)“激進(jìn)派”占據(jù)了上風(fēng)，人類但AI安全的咋監(jiān)自己?jiǎn)栴}也被擺上了臺(tái)面。當(dāng)?shù)貢r(shí)間12月18日，督比的OpenAI宣布了一套全新的聰明監(jiān)管框架，對(duì)奧爾特曼的首說(shuō)權(quán)力進(jìn)行制約。在這套框架下，席科學(xué)一個(gè)新的人類安全團(tuán)隊(duì)將會(huì)定期向董事會(huì)匯報(bào)安全隱患，盡管奧爾特曼可以對(duì)此發(fā)表意見(jiàn)，咋監(jiān)自己但董事會(huì)也可以根據(jù)安全報(bào)告“一票否決”未來(lái)的督比的大模型發(fā)布。

而在本月14日，由蘇茨克維領(lǐng)導(dǎo)的“超級(jí)對(duì)齊”（Superalignment）團(tuán)隊(duì)剛剛發(fā)布成立以來(lái)的第一篇論文，為人類今后對(duì)AI模型的監(jiān)管提供了思路：論文結(jié)論顯示，用能力較弱的GPT-2來(lái)監(jiān)督能力更強(qiáng)的GPT-4模型具有一定可行性。

蘇茨維克一直認(rèn)為，AI將在未來(lái)10年內(nèi)發(fā)展到比人類更聰明的程度。“一個(gè)弱小的監(jiān)管者怎樣監(jiān)督一個(gè)強(qiáng)大的AI”被視作今后AI領(lǐng)域必須面對(duì)的終極問(wèn)題，有觀點(diǎn)認(rèn)為，“超級(jí)對(duì)齊”的研究讓人類看到了一絲曙光。

OpenAI建新安全框架

董事會(huì)可以否決新模型發(fā)布

12月18日，OpenAI宣布采取一套新的“準(zhǔn)備框架”用以規(guī)范今后的AI安全監(jiān)管工作，這套框架已經(jīng)處于測(cè)試階段。領(lǐng)導(dǎo)新的安全框架的團(tuán)隊(duì)叫做“準(zhǔn)備”（Preparedness）團(tuán)隊(duì)，是公司內(nèi)部一個(gè)跨部門的職能團(tuán)隊(duì)，由麻省理工學(xué)院出身的計(jì)算機(jī)專家亞歷山大·梅德里負(fù)責(zé)領(lǐng)導(dǎo)。

梅德里團(tuán)隊(duì)將針對(duì)各類AI模型進(jìn)行能力評(píng)估和紅線測(cè)試，以追蹤、預(yù)測(cè)及防范各類別的災(zāi)難性風(fēng)險(xiǎn)。該團(tuán)隊(duì)每月會(huì)定期向一個(gè)新組建的內(nèi)部安全咨詢小組發(fā)送報(bào)告，該小組隨后將對(duì)報(bào)告進(jìn)行分析，并向奧爾特曼和董事會(huì)提交建議。奧爾特曼和其他公司高層可以根據(jù)這些報(bào)告決定是否發(fā)布新的AI模型，但董事會(huì)有權(quán)撤銷奧爾特曼的決定。

在“宮斗”事件之后，奧爾特曼雖然回到OpenAI重新主持工作，但他的名字并不在“重啟”后的董事會(huì)名單中。如今OpenAI在新模型發(fā)布這一重大問(wèn)題上給予董事會(huì)“一票否決權(quán)”，被外界認(rèn)為是制衡奧爾特曼個(gè)人權(quán)力的一項(xiàng)措施。

根據(jù)“準(zhǔn)備”團(tuán)隊(duì)的工作手冊(cè)，工作人員將反復(fù)評(píng)估OpenAI尚未發(fā)布的最先進(jìn)AI模型，根據(jù)不同類型的風(fēng)險(xiǎn)類型評(píng)為四個(gè)等級(jí)，風(fēng)險(xiǎn)程度從低到高依次是“較低”“適中”“較高”和“嚴(yán)重威脅”。根據(jù)新的指導(dǎo)方針，OpenAI未來(lái)將只能推出風(fēng)險(xiǎn)評(píng)級(jí)為“較低”和“適中”的模型。手冊(cè)顯示，該團(tuán)隊(duì)最為關(guān)注的維度包括網(wǎng)絡(luò)信息安全、模型是否教唆用戶實(shí)施犯罪行動(dòng)、是否泄露核機(jī)密或生化武器技術(shù)等。

此外，OpenAI還宣布了一項(xiàng)獎(jiǎng)勵(lì)計(jì)劃，鼓勵(lì)任何研究者、學(xué)校或科研機(jī)構(gòu)就AI安全方面做出技術(shù)貢獻(xiàn)，獎(jiǎng)金最高可達(dá)1000萬(wàn)美元。而且OpenAI承諾如果有較好的研究方向，可以通過(guò)“快捷通道”向該公司申請(qǐng)資金支持。

蘇茨維克團(tuán)隊(duì)論文：

GPT-2可以監(jiān)督GPT-4

OpenAI官網(wǎng)介紹稱，“超級(jí)對(duì)齊”團(tuán)隊(duì)于今年7月成立，由首席科學(xué)家蘇茨克維領(lǐng)導(dǎo)，目標(biāo)是在4年內(nèi)解決“超級(jí)智能對(duì)齊”問(wèn)題，即如何讓AI系統(tǒng)發(fā)展的終極目標(biāo)符合人類的價(jià)值觀和利益。為此OpenAI撥出全公司20%的計(jì)算能力供“超級(jí)對(duì)齊”團(tuán)隊(duì)調(diào)配。

▲“超級(jí)對(duì)齊”團(tuán)隊(duì)用插畫(huà)說(shuō)明“讓AI對(duì)齊AI”的思路

對(duì)于這個(gè)安全方面的終極問(wèn)題，在今年8月時(shí)蘇茨克維對(duì)外界講述了自己的思路，就是讓“AI對(duì)齊AI”。這個(gè)思路可以用該團(tuán)隊(duì)論文中的一幅插圖形象地展現(xiàn)出來(lái)：在早期階段人類比AI強(qiáng)，監(jiān)督AI的學(xué)習(xí)并不成問(wèn)題，但在未來(lái)的某個(gè)階段AI的能力會(huì)超過(guò)人類，屆時(shí)如何監(jiān)督更強(qiáng)大的AI？而解題思路是，讓前一代能力較弱的AI模型去監(jiān)督下一代更強(qiáng)的AI模型，然后以此類推。

這篇論文借鑒了人類如何監(jiān)督早期GPT模型的思路，試著讓GPT-2去監(jiān)督GPT-4的學(xué)習(xí)。結(jié)論認(rèn)為，雖然目前GPT-2還沒(méi)有辦法“批量化復(fù)制”人類的監(jiān)督工作思路，但在能力較弱的GPT-2的監(jiān)督下，GPT-4還是達(dá)到了大部分的潛能。

具體來(lái)說(shuō)，如果完全依靠GPT-2來(lái)監(jiān)督新模型的訓(xùn)練和學(xué)習(xí)，那么新模型所能達(dá)到的水平大約介于GPT-3和GPT-3.5之間。但是如果加上少量的人工監(jiān)督，模型就能做到現(xiàn)在GPT-4能做的絕大部分事情。

這篇論文的主要合著者之一簡(jiǎn)·雷克總結(jié)表示，研究證明未來(lái)的AI模型可以在完全脫離人類監(jiān)督的情況下變得比弱小監(jiān)管者（即上一代舊模型）更加聰明。盡管這種進(jìn)步幅度不算太大，也有很多條件限制，但無(wú)論如何這為人類在未來(lái)放心“讓AI自己去對(duì)齊AI”打造了一個(gè)良好的開(kāi)端。