當(dāng)我們睜開(kāi)眼睛時(shí)，我們會(huì)立即看到周圍的環(huán)境。大腦如何如此快速地形成這些豐富而詳細(xì)的世界表征，是視覺(jué)研究中最大的未解之謎之一。
研究大腦的科學(xué)家試圖通過(guò)使用計(jì)算機(jī)視覺(jué)模型來(lái)復(fù)制這種現(xiàn)象，但迄今為止，領(lǐng)先的模型只執(zhí)行更簡(jiǎn)單的任務(wù)，例如在雜亂的背景中拾取物體或人臉。現(xiàn)在，由麻省理工學(xué)院認(rèn)知科學(xué)家領(lǐng)導(dǎo)的團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)計(jì)算機(jī)模型，該模型捕捉了人類視覺(jué)系統(tǒng)從圖像中快速生成詳細(xì)場(chǎng)景描述的能力，并提供了一些關(guān)于大腦如何實(shí)現(xiàn)這一功能的見(jiàn)解。
喬希說(shuō)：“我們?cè)谶@項(xiàng)工作中試圖做的是解釋感知比僅僅給圖像的所有部分貼上語(yǔ)義標(biāo)簽要豐富得多，并探索如何看待整個(gè)物理世界?！碧啬硝U姆是計(jì)算認(rèn)知科學(xué)教授，也是計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)和麻省理工學(xué)院大腦、思維和機(jī)器中心(CBMM)的成員。
新模型假設(shè)，當(dāng)大腦接收到視覺(jué)輸入時(shí)，它將快速執(zhí)行一系列計(jì)算，從而逆轉(zhuǎn)了計(jì)算機(jī)圖形程序用來(lái)生成人臉或其他對(duì)象的2D表示的步驟。研究人員表示，這種被稱為有效逆圖(EIG)的模型，與非人類靈長(zhǎng)類大腦面部選定區(qū)域的電記錄也有很好的相關(guān)性，這表明靈長(zhǎng)類視覺(jué)系統(tǒng)的組織方式幾乎與計(jì)算機(jī)模型相同。
這篇論文的主要作者是前麻省理工學(xué)院博士后伊爾克耶爾德勒姆(Ilker Yildirim)，他現(xiàn)在是耶魯大學(xué)的心理學(xué)助理教授。論文今天發(fā)表在《科學(xué)進(jìn)展》。洛克菲勒大學(xué)的神經(jīng)科學(xué)和行為學(xué)教授特南鮑姆和溫里奇弗賴瓦爾德是這項(xiàng)研究的資深作者。耶魯大學(xué)研究生馬里奧貝勒東也是一名作家。
反向圖形
幾十年來(lái)，對(duì)大腦視覺(jué)系統(tǒng)的研究已經(jīng)非常詳細(xì)地研究了如何將入射到視網(wǎng)膜上的光轉(zhuǎn)換成內(nèi)聚場(chǎng)景。這種理解有助于人工智能研究人員開(kāi)發(fā)能夠復(fù)制系統(tǒng)所有方面的計(jì)算機(jī)模型，例如識(shí)別人臉或其他物體。
特南鮑姆說(shuō)：“視覺(jué)是我們對(duì)人類和其他動(dòng)物最了解的大腦功能方面?！薄澳壳?，計(jì)算機(jī)視覺(jué)是AI最成功的領(lǐng)域之一。我們相信，機(jī)器現(xiàn)在可以很好地觀察圖片，很好地識(shí)別人臉，并檢測(cè)其他種類的物體。”
然而，即使是這些復(fù)雜的人工智能系統(tǒng)也無(wú)法與人類視覺(jué)系統(tǒng)實(shí)現(xiàn)的功能相比。
他說(shuō)：“我們的大腦不僅會(huì)檢測(cè)那里的物體，而且不會(huì)識(shí)別和標(biāo)記它們?！薄拔覀兛吹搅怂械男螤睢缀涡螤?、表面和紋理。我們看到了一個(gè)非常富裕的世界。”
一個(gè)多世紀(jì)前，醫(yī)生、物理學(xué)家和哲學(xué)家赫爾曼赫爾姆霍茨提出了這樣一個(gè)理論，即大腦通過(guò)逆轉(zhuǎn)圖像形成過(guò)程來(lái)創(chuàng)造這些豐富的表征。他假設(shè)視覺(jué)系統(tǒng)包括一個(gè)圖像生成器，例如，它將用于生成我們?cè)趬?mèng)中看到的面孔。研究人員說(shuō)，反向運(yùn)行發(fā)電機(jī)將使大腦從圖像向后移動(dòng)，并推斷哪種臉或其他物體會(huì)產(chǎn)生圖像。
然而，問(wèn)題仍然存在：大腦如何如此快速地執(zhí)行這個(gè)過(guò)程(稱為逆圖形)？科學(xué)家們?cè)噲D創(chuàng)造一種能夠執(zhí)行這一任務(wù)的算法，但在過(guò)去，最好的系統(tǒng)需要許多循環(huán)的迭代處理，這比大腦創(chuàng)建你所看到的詳細(xì)視覺(jué)表示所需的100到200毫秒要長(zhǎng)得多。神經(jīng)科學(xué)家認(rèn)為，大腦的感知之所以能夠如此迅速地進(jìn)行，是因?yàn)樗峭ㄟ^(guò)前饋傳遞和神經(jīng)處理的幾個(gè)層級(jí)組織層來(lái)實(shí)現(xiàn)的。
麻省理工學(xué)院領(lǐng)導(dǎo)的團(tuán)隊(duì)著手構(gòu)建一個(gè)特殊的深度神經(jīng)網(wǎng)絡(luò)模型，展示神經(jīng)層次如何快速推斷場(chǎng)景的基本特征——在這種情況下，是特定的人臉。與計(jì)算機(jī)視覺(jué)中使用的標(biāo)準(zhǔn)深度神經(jīng)網(wǎng)絡(luò)相反，后者是從表示圖像中對(duì)象類別的標(biāo)記數(shù)據(jù)中訓(xùn)練的，而研究人員的網(wǎng)絡(luò)是通過(guò)反映大腦中能夠表達(dá)面部表情的場(chǎng)景的內(nèi)部表示的模型來(lái)訓(xùn)練的?？雌饋?lái)。
因此，他們的模型學(xué)會(huì)了逆轉(zhuǎn)由計(jì)算機(jī)圖形程序執(zhí)行的生成人臉的步驟。這些圖形程序從單個(gè)面部的三維表示開(kāi)始，然后將其轉(zhuǎn)換為二維圖像(從特定的視點(diǎn))。這些圖像可以放在任何背景圖像上。研究人員認(rèn)為，當(dāng)你做夢(mèng)或聯(lián)想到某人面部的心理圖像時(shí)，大腦的視覺(jué)系統(tǒng)可能會(huì)執(zhí)行類似的操作。
研究人員訓(xùn)練他們的深層神經(jīng)網(wǎng)絡(luò)以相反的方式執(zhí)行這些步驟——也就是說(shuō)，它從2D圖像開(kāi)始，然后添加紋理、曲率和光照等功能，以創(chuàng)建研究人員所說(shuō)的“2.5D”。這些2.5D圖像從特定角度指定面部的形狀和顏色。然后將它們轉(zhuǎn)換為獨(dú)立于視點(diǎn)的3D表示。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！