在上一節中我們介紹了深度學(xué)習可解釋性的三種方法：1. 隱層分析法，2. 敏感性分析法 3. 代理/替代模型法。在這一節中我們主要介紹種方法：隱層分析法。

1. 黑箱真的是黑箱嗎？——深度學(xué)習的物質(zhì)組成視角

通過(guò)上一節的介紹我們也了解到，深度學(xué)習的黑箱性主要來(lái)源于其G度非線(xiàn)性性質(zhì)，每個(gè)神經(jīng)元都是由上一層的線(xiàn)性組合再加上一個(gè)非線(xiàn)性函數的得到，我們無(wú)法像理解線(xiàn)性回歸的參數那樣通過(guò)非常solid的統計學(xué)基礎假設來(lái)理解神經(jīng)網(wǎng)絡(luò )中的參數含義及其重要程度、波動(dòng)范圍。但實(shí)際上我們是知道這些參數的具體值以及整個(gè)訓練過(guò)程的，所以神經(jīng)網(wǎng)絡(luò )模型本身其實(shí)并不是一個(gè)黑箱，其黑箱性在于我們沒(méi)辦法用人類(lèi)可以理解的方式理解模型的具體含義和行為，而神經(jīng)網(wǎng)絡(luò )的一個(gè)非常好的性質(zhì)在于神經(jīng)元的分層組合形式，這讓我們可以用物質(zhì)組成的視角來(lái)理解神經(jīng)網(wǎng)絡(luò )的運作方式。比如如下圖所示，人體的組成過(guò)程是從分子-細胞-組織-器官-系統-人體：

而通過(guò)一些對神經(jīng)網(wǎng)絡(luò )隱層的可視化我們也發(fā)現：比如下圖的一個(gè)人臉識別的例子，神經(jīng)網(wǎng)絡(luò )在這個(gè)過(guò)程中先學(xué)到了邊角的概念，之后學(xué)到了五官，后學(xué)到了整個(gè)面部的特征。

如果我們能夠用一些方法來(lái)幫助我們理解這個(gè)從低J概念到GJ概念的生成過(guò)程，那么就離理解神經(jīng)網(wǎng)絡(luò )的具體結構就近了很多。而這也可以逐漸幫助我們完成一個(gè)“祛魅”的過(guò)程，將調參的魔法真正變成一項可控、可解釋的過(guò)程。

要理解這個(gè)概念的生成過(guò)程很重要的一點(diǎn)就是要研究隱層的概念表示，在接下來(lái)的部分中我將給大家介紹業(yè)界關(guān)于隱層分析方法的幾個(gè)研究工作。

2. 模型學(xué)到了哪些概念？

要理解神經(jīng)網(wǎng)絡(luò )中每層都學(xué)到了哪些概念一個(gè)非常直觀(guān)的方法就是通過(guò)對隱層運用一些可視化方法來(lái)將其轉化成人類(lèi)可以理解的有實(shí)際含義的圖像，這方面一個(gè)非常具有代表性的一個(gè)工作就是14年ECCV的一篇經(jīng)典之作：《Visualizing and Understanding Convolutional Networks》，這篇文章主要利用了反卷積的相關(guān)思想實(shí)現了特征可視化來(lái)幫助我們理解CNN的每一層究竟學(xué)到了什么東西。我們都知道典型的CNN模型的一個(gè)完整卷積過(guò)程是由卷積-激活-池化（pooling）三個(gè)步驟組成的。而如果想把一個(gè)CNN的中間層轉化成原始輸入空間呢？我們就需要經(jīng)過(guò)反池化-反激活-反卷積這樣的一個(gè)逆過(guò)程。整個(gè)模型的結構如下圖所示：