中新網(wǎng)北京8月29日電 (記者 孫自法)記者29日從中國科學(xué)院自動(dòng)化研究所獲悉，該所徐波研究員團(tuán)隊(duì)聯(lián)合科研同行最新研究提出一種基于神經(jīng)調(diào)制依賴可塑性的新型類腦學(xué)習(xí)方法(NACA)，實(shí)現(xiàn)更高分類精度和更低學(xué)習(xí)能耗，可極大緩解災(zāi)難性遺忘問題，有望進(jìn)一步引導(dǎo)新型類腦芯片的設(shè)計(jì)。

這項(xiàng)人工智能(AI)領(lǐng)域類腦研究重要進(jìn)展成果論文，由徐波研究員團(tuán)隊(duì)與中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心蒲慕明院士、臨港實(shí)驗(yàn)室李澄宇研究員等共同完成，近日在國際著名學(xué)術(shù)期刊《科學(xué)》旗下《科學(xué)進(jìn)展》在線發(fā)表。


(相關(guān)資料圖)

大腦中的神經(jīng)調(diào)制相關(guān)示意圖。中國科學(xué)院自動(dòng)化所 供圖

論文第一作者、中國科學(xué)院自動(dòng)化研究所張鐵林副研究員介紹說，人工智能迫切需要借鑒生物系統(tǒng)中的微觀、介觀、宏觀等多尺度神經(jīng)可塑性融合計(jì)算機(jī)制，以便啟發(fā)實(shí)現(xiàn)更加高效的類腦連續(xù)學(xué)習(xí)算法，消除人工神經(jīng)網(wǎng)絡(luò)由于采用反向傳播等人工學(xué)習(xí)方法而導(dǎo)致的廣泛災(zāi)難性遺忘現(xiàn)象。

而生物系統(tǒng)中常見的多巴胺、5-羥色胺、血清素、去甲腎上腺素等神經(jīng)調(diào)質(zhì)物，往往經(jīng)由特定的腺體釋放，并遠(yuǎn)程彌散、投射到一定范圍內(nèi)的目標(biāo)神經(jīng)元群體，且根據(jù)調(diào)質(zhì)濃度水平的不同，對局部的神經(jīng)元、突觸等多種微觀可塑性產(chǎn)生復(fù)雜的調(diào)制影響。受生物神經(jīng)調(diào)制機(jī)制的啟發(fā)，研究團(tuán)隊(duì)通過建模多巴胺、乙酰膽堿等“全局神經(jīng)調(diào)制可塑性”“局部時(shí)序依賴可塑性”等多尺度神經(jīng)可塑性機(jī)制，整合得到這種基于神經(jīng)調(diào)制依賴可塑性的新型類腦學(xué)習(xí)方法。

張鐵林指出，這一新型類腦學(xué)習(xí)方法參考大腦中復(fù)雜的神經(jīng)調(diào)制通路結(jié)構(gòu)，并以期望矩陣編碼的形式對神經(jīng)調(diào)制通路構(gòu)建數(shù)學(xué)模型，在接受刺激信號后產(chǎn)生不同濃度的多巴胺監(jiān)督信號并進(jìn)一步影響局部突觸和神經(jīng)元可塑性類型。該方法支持采用純前饋的流式學(xué)習(xí)方法訓(xùn)練脈沖和人工神經(jīng)網(wǎng)絡(luò)，通過全局多巴胺的彌散支持與輸入信號同步，甚至先于輸入信號的正向信息傳播，再加上選擇性對“局部時(shí)序依賴可塑性”的調(diào)整，使其表現(xiàn)出明顯的快速收斂和緩解災(zāi)難性遺忘優(yōu)勢。

基于神經(jīng)調(diào)制依賴可塑性的新型類腦學(xué)習(xí)方法(NACA)計(jì)算模型。中國科學(xué)院自動(dòng)化所 供圖

論文通訊作者徐波研究員表示，在兩類典型的圖片和語音模式識(shí)別任務(wù)中，研究團(tuán)隊(duì)從準(zhǔn)確率和計(jì)算成本兩方面對新型類腦學(xué)習(xí)方法的算法進(jìn)行評估，并選取兩種全局學(xué)習(xí)算法作為對比，在人工神經(jīng)網(wǎng)絡(luò)中則以目標(biāo)傳播和反向傳播算法作為對比對象。結(jié)果顯示，在圖片分類和語音識(shí)別標(biāo)準(zhǔn)數(shù)據(jù)集上，新型類腦學(xué)習(xí)方法都實(shí)現(xiàn)更高的分類精度和更低學(xué)習(xí)能耗。

同時(shí)，在驗(yàn)證靜態(tài)分類任務(wù)的擬合能力后，研究團(tuán)隊(duì)重點(diǎn)測試新型類腦學(xué)習(xí)方法的連續(xù)學(xué)習(xí)能力，并將神經(jīng)調(diào)制擴(kuò)充到神經(jīng)元可塑性范圍。在連續(xù)手寫數(shù)字、連續(xù)手寫字母、連續(xù)手寫數(shù)學(xué)符號、連續(xù)自然圖片、連續(xù)動(dòng)態(tài)手勢等五大類連續(xù)學(xué)習(xí)任務(wù)中，新型類腦學(xué)習(xí)方法具有更低的能耗且發(fā)現(xiàn)可以極大地緩解災(zāi)難性遺忘問題。

基于神經(jīng)調(diào)制依賴可塑性的新型類腦學(xué)習(xí)方法(NACA)計(jì)算模型在任務(wù)中的表現(xiàn)。中國科學(xué)院自動(dòng)化所 供圖

研究團(tuán)隊(duì)認(rèn)為，這次研究提出的新型類腦學(xué)習(xí)方法，是一類生物合理的全局優(yōu)化算法，其采用宏觀可塑性來進(jìn)一步“調(diào)制”局部可塑性，可視為一種“可塑性的可塑性”方法，與“學(xué)會(huì)學(xué)習(xí)”“元學(xué)習(xí)”等有直觀上的功能一致性。

新型類腦學(xué)習(xí)方法同時(shí)在兩種優(yōu)化問題中獲得性能和計(jì)算成本上的優(yōu)勢，更在連續(xù)學(xué)習(xí)這一更貼合生物生存環(huán)境和實(shí)際應(yīng)用場景的動(dòng)態(tài)任務(wù)范式下發(fā)揮出重要作用。“這些純前饋學(xué)習(xí)、低訓(xùn)練能耗、支持動(dòng)態(tài)連續(xù)學(xué)習(xí)等綜合特征，也將有望進(jìn)一步引導(dǎo)新型類腦芯片的設(shè)計(jì)。”徐波說。(完)

標(biāo)簽：