在上一節中我們介紹了建模后深度學(xué)習可解釋性方法之一：隱層分析法，但我們也會(huì )發(fā)現隱層分析法的一個(gè)問(wèn)題在于，通過(guò)端到端訓練的隱層很多時(shí)候并沒(méi)有什么特定的含義，多數依賴(lài)我們的主觀(guān)判斷。但是深度學(xué)習模型中往往只有輸入層對我們來(lái)說(shuō)才是有意義的，所以了解深度學(xué)習模型的一個(gè)更直觀(guān)的方法是通過(guò)研究輸入層的變化對結果的影響來(lái)判斷輸入變量或輸入樣本的重要性，這也是通常所說(shuō)的敏感性分析方法。

敏感性分析（Sensitivity Analysis）是一類(lèi)非常重要的，用于定量描述模型輸入變量對輸出變量的重要性程度的方法，在經(jīng)濟、生態(tài)、化學(xué)、控制等L域都已經(jīng)有了非常成熟的應用。假設模型表示為  ，敏感性分析就是令每個(gè)屬性在可能的范圍變動(dòng)，研究和預測這些屬性的變化對模型輸出值的影響程度。我們將影響程度的大小稱(chēng)為該屬性的敏感性系數，敏感性系數越大，就說(shuō)明屬性對模型輸出的影響越大。一般來(lái)講對于神經(jīng)網(wǎng)絡(luò )的敏感性分析方法可以分為變量敏感性分析、樣本敏感性分析兩種，變量敏感性分析用來(lái)檢驗輸入屬性變量對模型的影響程度，樣本敏感性分析用來(lái)研究具體樣本對模型的重要程度，也是敏感性分析研究的一個(gè)新方向。

1. 變量敏感性分析

神經(jīng)網(wǎng)絡(luò )中的變量敏感性分析方法大概有以下幾種：基于連接權的敏感性方法，基于偏導的敏感性分析方法、通過(guò)改變輸入變量觀(guān)察其影響的方法和與統計方法結合的敏感性分析方法。

基于連接權的敏感性分析方法

基于連接權的方法中比較有代表性的工作是Garson等人1991年在《Interpreting neural network connection weights》提出的方法，這種來(lái)自于“遠古時(shí)期”的智慧相對來(lái)說(shuō)就要簡(jiǎn)單粗暴一點(diǎn)。輸入變量  對輸出變量 的影響程度為：