近日，中科院自動(dòng)化所聽(tīng)覺(jué)模型與認知計算團隊面向嘈雜背景下的視覺(jué)感知問(wèn)題，提出具有同層側向激勵和抑制的卷積脈沖神經(jīng)網(wǎng)絡(luò )模型，在多個(gè)標準數據集上表現出較好地識別性能和噪音魯棒性。該論文已被IJCAI 2020大會(huì )接收。

如果有人朝你扔過(guò)來(lái)一個(gè)球，通常你會(huì )怎么辦？——當然是馬上把它接住。
這個(gè)問(wèn)題是不是很簡(jiǎn)單？但實(shí)際上，這一過(guò)程是復雜的處理過(guò)程之一：先，在復雜的背景環(huán)境下，球進(jìn)入人的視野，被視網(wǎng)膜捕捉到后，經(jīng)視覺(jué)通路發(fā)送到大腦處理視覺(jué)信息的腦區，進(jìn)行更加徹底的圖像分析。同時(shí)視皮層與其他腦區協(xié)作，判斷物體的種類(lèi)，預測它的行進(jìn)軌跡，終通過(guò)傳出神經(jīng)控制肌肉的運動(dòng)，決定人的下一步行動(dòng)：舉起雙手、接住球。上述過(guò)程只在零點(diǎn)幾秒內發(fā)生，幾乎完全是下意識的行為，也很少會(huì )出差錯。
為了讓計算機模仿這一過(guò)程，先需要讓計算機做到像人類(lèi)那樣“看”，尤其是在嘈雜背景下像人類(lèi)那樣快速準確地“看”，成為了近年來(lái)視覺(jué)感知這一研究L域備受關(guān)注的關(guān)鍵問(wèn)題之一。

近年來(lái)，基于梯度反向傳播的脈沖神經(jīng)網(wǎng)絡(luò )（SNN）訓練方法逐漸興起。在這種訓練方法下，SNN能夠在保留神經(jīng)元內部動(dòng)力學(xué)的同時(shí)獲得較好的性能。
在此基礎上，自動(dòng)化所聽(tīng)覺(jué)模型與認知計算團隊模仿刻畫(huà)視聽(tīng)覺(jué)系統神經(jīng)元側向作用的數學(xué)模型動(dòng)態(tài)神經(jīng)場(chǎng)，提出了具有側向作用的SNN——LISNN，用于圖像識別任務(wù)。并且在測試中，根據側向作用的動(dòng)力學(xué)特點(diǎn)，人為加入噪聲以驗證側向作用對網(wǎng)絡(luò )魯棒性的提升。
在生物神經(jīng)系統的感受器中存在著(zhù)臨近神經(jīng)元間的相互抑制和相互激勵。其中，側向抑制初為解釋馬赫帶效應而提出，即人們在明暗變化邊界上常常會(huì )在亮處看到一條更亮的光帶而在暗區看到一條更暗的線(xiàn)條（見(jiàn)圖1）。這種側向作用后來(lái)在鱟、貓等多種動(dòng)物的不同感覺(jué)系統中被證實(shí)并應用在仿生的計算模型中。 

圖1. 馬赫帶效應示意（圖引wiki）

LISNN的結構如圖2所示，前端是兩層具有卷積感受野的脈沖神經(jīng)元層，每層后面有一層平均池化層，后端是兩層全連接的脈沖神經(jīng)元層。具有卷積感受野的脈沖神經(jīng)元在模型中承擔特征提取的功能，類(lèi)似于感受器的作用，因此只在這層結構中使用側向作用。在側向作用機制下，每個(gè)脈沖神經(jīng)元的膜電位都額外受鄰域內的其他神經(jīng)元上一時(shí)刻狀態(tài)的影響。在目前已有的使用側向作用的計算模型中，側向作用系數往往是固定的和神經(jīng)元間距離相關(guān)的函數，而LISNN中的側向作用系數則可以通過(guò)反向傳播進(jìn)行學(xué)習。


圖2 LISNN模型結構示意圖
該研究工作分別在靜態(tài)數據集MNIST與Fashion MNIST、動(dòng)態(tài)數據集N-MNIST上對LISNN的性能進(jìn)行了驗證。輸入數據以特定方式編碼為一定長(cháng)度的脈沖序列，每個(gè)時(shí)刻的序列規模與原圖像（或事件點(diǎn)坐標范圍）相同。模型在MNIST和N-MNIST數據集上均取得了和已有好性能相近的結果；在Fashion-MNIST數據集上則取得了SNN中的好性能。本模型與已發(fā)表模型的性能對比見(jiàn)表1-3。


除此之外，團隊還選擇在MNIST和Fashion MNIST的測試集中加入不同水平的G斯噪聲和脈沖噪聲，以進(jìn)一步測試側向作用對網(wǎng)絡(luò )魯棒性的提升。圖3展示了部分原始圖片和加噪后的圖片。

圖3 （a）三行依次為原始MNIST測試集圖片、加入G斯噪聲后的圖片、加入脈沖噪聲后的圖片
（b）三行依次為原始Fashion MNIST測試集圖片、加入G斯噪聲后的圖片、加入脈沖噪聲后的圖片
圖4中，灰線(xiàn)和藍線(xiàn)分別代表LISNN和沒(méi)有側向作用的SNN在添加了G斯噪聲的測試集上的準確率；黃線(xiàn)和橙線(xiàn)分別代表LISNN和沒(méi)有側向作用的SNN在添加了脈沖噪聲的測試集上的準確率。在大部分情況下，LISNN的性能損失都小于沒(méi)有側向作用的SNN，尤其是在訓練集中沒(méi)有添加噪聲數據的情況下。




圖4 （a）模型在無(wú)噪聲的MNIST訓練集上訓練。（b）模型在無(wú)噪聲的Fashion MNIST訓練集上訓練
（c）模型在有G斯噪聲的MNIST訓練集上訓練。（d）模型在有G斯噪聲的Fashion MNIST訓練集上訓練

與傳統的神經(jīng)網(wǎng)絡(luò )算法相比，所提算法能取得較好的性能并自然地實(shí)現對噪聲干擾的抗性，具有一定理論研究?jì)r(jià)值和工程實(shí)用價(jià)值。