現(xiàn)代認(rèn)知神經(jīng)科學(xué)以及功能磁共振成像技術(shù)（functional Magnetic Resonance Imaging, fMRI）的自動(dòng)不斷發(fā)展使得采用科學(xué)手段對(duì)大腦視覺皮層信號(hào)進(jìn)行解讀成為可能。研究人腦視覺信息解碼模型不僅可以加深人們對(duì)人腦視覺信息處理機(jī)制的人腦研究，還可以有力地促進(jìn)新一代腦-機(jī)接口（Brain-Computer Interface, BCI）技術(shù)的視覺發(fā)展。
盡管現(xiàn)有的信息視覺信息解碼模型在對(duì)大腦信號(hào)的分類、識(shí)別任務(wù)上表現(xiàn)良好，編解但是碼研面試圖通過大腦視覺皮層信號(hào)精確重建視覺刺激內(nèi)容仍然非常困難。阻礙人們有效地進(jìn)行視覺信息解碼的究方進(jìn)展因素主要包括 fMRI 數(shù)據(jù)維度高、樣本量小、得新噪聲嚴(yán)重、自動(dòng)解碼模型不科學(xué)等。人腦傳統(tǒng)的視覺基于多體素模式分析（Multi-Voxel Pattern Analysis, MVPA）的視覺信息解碼方法直接在高維的 fMRI 體素空間和視覺圖像像素空間建立映射關(guān)系，這種解碼方法很容易造成對(duì)冗余或噪聲體素的信息過擬合。此外，編解現(xiàn)有的碼研面視覺信息解碼方法大多數(shù)基于對(duì)視覺圖像的線性變換，沒有結(jié)合人腦視覺系統(tǒng)的究方進(jìn)展信息處理機(jī)制，解碼效果差并且缺乏生物學(xué)基礎(chǔ)。
中國(guó)科學(xué)院自動(dòng)化研究所研究員何暉光團(tuán)隊(duì)近年來一直致力于更復(fù)雜刺激（如人臉，自然圖像，乃至動(dòng)態(tài)視覺刺激）的大腦解碼工作，繼去年關(guān)于“利用fMRI信號(hào)重建圖像”的工作被MIT Technology Review頭條報(bào)道后，基于以往工作積累，提出了一種基于貝葉斯深度學(xué)習(xí)的大腦視覺信息解碼模型（見圖1），針對(duì)基于fMRI數(shù)據(jù)的視覺神經(jīng)信息編解碼問題，提出了統(tǒng)一的多視圖深度生成式模型（Deep Generative Multi-view Model, DGMM）（見圖2），為基于大腦信號(hào)的視覺圖像重建問題提供了有效的解決方案。相關(guān)研究成果“Reconstructing Perceived Images from Human Brain Activities with Bayesian Deep Multi-view Learning”近日已在神經(jīng)網(wǎng)絡(luò)及機(jī)器學(xué)習(xí)領(lǐng)域國(guó)際期刊IEEE Transactions on Neural Networks and Learning Systems (TNNLS)在線發(fā)表，為腦-機(jī)接口的進(jìn)一步研究打下了堅(jiān)實(shí)的基礎(chǔ)。
該研究以一種科學(xué)合理的方式建立起了視覺圖像和大腦響應(yīng)之間的關(guān)系，將視覺圖像重建問題轉(zhuǎn)化成多視圖隱含變量模型中缺失視圖的貝葉斯推斷問題。受人腦視覺信息處理機(jī)制（層次化、Bottom-up、Top-down）的啟發(fā)，團(tuán)隊(duì)采用了深度神經(jīng)網(wǎng)絡(luò)從視覺圖像中逐層提取視覺特征和概念，提高了模型的表達(dá)能力和可解釋性；受視覺區(qū)域的體素感受野和視覺信息的稀疏表達(dá)準(zhǔn)則的啟發(fā)，團(tuán)隊(duì)采用了稀疏貝葉斯學(xué)習(xí)從大量體素中自動(dòng)篩選出對(duì)視覺信息解碼貢獻(xiàn)較大的體素，提高了模型的穩(wěn)定性和泛化能力。深度生成式多視圖模型充分利用了 fMRI 體素之間的相關(guān)性信息，有效抑制了體素噪聲的干擾，增強(qiáng)了算法的魯棒性。得益于貝葉斯方法的優(yōu)點(diǎn)，深度生成式多視圖模型能夠方便靈活地融合先驗(yàn)知識(shí)，進(jìn)而提升預(yù)測(cè)性能。大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了深度生成式多視圖模型的優(yōu)越性。新算法為大腦信號(hào)解碼問題提供了一個(gè)行之有效的通用框架，具有很強(qiáng)的可擴(kuò)展性，允許從不同角度對(duì)其進(jìn)行擴(kuò)展以適應(yīng)不同任務(wù)。該項(xiàng)目不僅為探究大腦的視覺信息處理機(jī)制提供了一個(gè)強(qiáng)有力的工具，而且為腦-機(jī)接口的發(fā)展提供了技術(shù)支持，將對(duì)類腦智能的發(fā)展起到一定的促進(jìn)作用。
論文的第一作者是博士生杜長(zhǎng)德。該工作同時(shí)受到國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、中科院先導(dǎo)項(xiàng)目以及中科院青促會(huì)優(yōu)秀會(huì)員項(xiàng)目的資助。
圖1：基于貝葉斯深度多視圖學(xué)習(xí)的視覺信息編解碼框架
圖2：深度生成式多視圖模型（DGMM）
