因?yàn)閷ι窠?jīng)網(wǎng)絡(luò)深層功能的理解，不僅有助于我們了解其決策機(jī)制，同時我們構(gòu)建更為強(qiáng)大的人工智能系統(tǒng)也至關(guān)重要。

中，也解釋了他們?nèi)绾瓮ㄟ^逐一刪除單個神經(jīng)元的方式去理解和判斷神經(jīng)網(wǎng)絡(luò)的性能。他們認(rèn)為，理解神經(jīng)科學(xué)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)之間關(guān)聯(lián)性的重要方法之一，正是調(diào)查個體神經(jīng)元的作用，特別是那些易于解釋的神經(jīng)元。

研究人員開發(fā)了專門的圖像分類模型，然后逐一刪除其中幾個神經(jīng)元，從而測量每個刪除對模型結(jié)果的影響。

據(jù)DeepMind稱，他們的發(fā)現(xiàn)產(chǎn)生了兩個結(jié)果：

• 雖然以往的眾多研究都集中于理解易于解釋的單個神經(jīng)元（例如'貓神經(jīng)元'，或者深層網(wǎng)絡(luò)內(nèi)隱藏層中的神經(jīng)元等等只會對貓的圖像產(chǎn)生反應(yīng)的單元），但結(jié)果顯示，它們在重要性上并不比綜合且難以解釋的神經(jīng)元更高；
• 能夠?qū)奈匆娺^的圖像進(jìn)行正確分類的神經(jīng)網(wǎng)絡(luò)，在神經(jīng)元缺失適應(yīng)性方面要比只能夠?qū)σ呀?jīng)見過的圖像進(jìn)行分類的網(wǎng)絡(luò)強(qiáng)。有點(diǎn)拗口，我們換句話來說，也就是適應(yīng)度更高的網(wǎng)絡(luò)比單純依靠記憶起效的網(wǎng)絡(luò)更能擺脫對單一神經(jīng)元的依賴。

"神經(jīng)元可能較易解釋，但其重要性尚不明確

研究人員廣泛分析了只能對單一輸入圖像類別作出響應(yīng)，且易于解釋的神經(jīng)元（即“選擇性”神經(jīng)元）。他們發(fā)現(xiàn)，在深度學(xué)習(xí)當(dāng)中，此類神經(jīng)元包括了"貓神經(jīng)元"、情緒神經(jīng)元以及概括神經(jīng)元; 而在神經(jīng)科學(xué)領(lǐng)域，此類神經(jīng)元則包括Jennifer Aniston神經(jīng)元等。然而，這些僅占少數(shù)比例的高選擇性神經(jīng)元在重要性上到底與其它低選擇性、更令人費(fèi)解且難以解釋的神經(jīng)元有何區(qū)別，目前還不得而知。

具有清晰響應(yīng)模式的神經(jīng)元（例如對貓的圖像活躍，但對其它圖像皆不敏感的神經(jīng)元）比綜合性的神經(jīng)元（即能夠?qū)Ω黝愲S機(jī)圖像集發(fā)生反應(yīng)的神經(jīng)元）更易于解釋

而為了評估神經(jīng)元的重要性，研究人員在測試當(dāng)中移除了部分神經(jīng)元，從而觀察網(wǎng)絡(luò)的分類任務(wù)處理效能所發(fā)生的變化。如果其中某個神經(jīng)元非常重要，那么將其移除就會產(chǎn)生極大的破壞性，并顯著降低網(wǎng)絡(luò)效能。相反，如果移除的神經(jīng)元并不太重要，那么就不會造成什么影響。

神經(jīng)元缺失對簡單神經(jīng)網(wǎng)絡(luò)所造成影響的概念示意圖。較深的神經(jīng)元往往更為活躍。嘗試點(diǎn)擊隱藏層神經(jīng)元并將其移除，觀察輸出神經(jīng)元的活動所發(fā)生的改變。需要注意的是，移除一個或兩個神經(jīng)元對輸出結(jié)果的影響很小，而移除大部分神經(jīng)元則會產(chǎn)生顯著的影響，并且其中一部分神經(jīng)元確實(shí)比其它神經(jīng)元更為重要！

這一發(fā)現(xiàn)與最近在神經(jīng)科學(xué)方面的研究進(jìn)展相互印證，目前科學(xué)家們已經(jīng)證明那些作用不明的神經(jīng)元實(shí)際上能夠提供豐富的信息。這意味著我們必須邁過易解釋神經(jīng)元這道難關(guān)，才有可能真正搞清楚深層神經(jīng)網(wǎng)絡(luò)的運(yùn)作機(jī)制。