• 為什么模型的復雜架構(gòu)會降低其可解釋性？

模型為什么不具備可解釋性？模型欠缺哪些基本性質(zhì)？這與系統(tǒng)本身具有完全確定性有關(guān)，因為模型一旦被訓練完畢，你就可以據(jù)此寫出模型中每個量與其他的量相關(guān)聯(lián)的方程。「模型可解釋性」中的一個關(guān)鍵概念：對于一項復雜模型的可解釋性表示，通常被大體看做是其本身的一種壓縮表示。

• 研究深度學習的可解釋性，首先需要明白什么是可解釋性，為什么需要可解釋性，現(xiàn)存的可解釋性方法有哪些，可解釋性技術(shù)在深度學習中有什么應用，現(xiàn)存的可解釋性研究有什么局限性，未來的發(fā)展方向等。

（一）什么是可解釋性？

籠統(tǒng)來講，可解釋性是指在我們需要了解或解決一件事情的時候，我們可以獲得我們所需要的足夠的可以理解的信息。

（二）為什么需要可解釋性？

盡管深度學習模型在許多有意義的任務中勝過了人類，但由于缺乏可解性，其應用也常常飽受質(zhì)疑。

由于模型結(jié)構(gòu)復雜、參數(shù)居多、算法透明性低，對于普通用戶而言，深度神經(jīng)網(wǎng)絡(luò)(DNN)就如同黑盒一般，我們不知道它內(nèi)部的工作機制，也不知道其決策過程，因而很難驗證其可靠性，自然就不信任其決策結(jié)果。缺乏可解釋性，將可能給安全場景中的深度學習（如自動駕駛，智慧醫(yī)療等）應用帶來潛在的威脅。

因此，要提高模型的透明性，建立模型與用戶之間的信任關(guān)系，降低應用中的潛在風險，就需要研究可解釋性。