作者 | Adrian Colyer, Venture Partner, Accel
編譯 | CDA數據分析師
原文 | Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead
本文是技術和哲學論點的混合，本文的兩個主要結論：第一，我對可解釋性高的機器學習模型和決策風險高的黑匣子模型之間區別的理解，以及為什麼前者可能有問題；其次，它是創建真實可解釋模型的技術的重要參考。
在醫療和刑事司法領域，越來越多的趨勢將機器學習（ML）運用於對人類生活產生深遠影響的高風險預測應用程式中……缺乏缺乏透明性和可預測性的預測模型可能會（已經造成）嚴重後果……
1、定義術語
一個模型可能是一個黑匣子，其原因有兩個：（a）該模型計算的功能過於複雜，以至於任何人都無法理解，或者（b）該模型實際上可能很簡單，但是其細節是專有的不可檢驗。
在可解釋的機器學習中，我們使用複雜的黑匣子模型（例如DNN）進行預測，並使用創建的第二個（事後）模型來解釋第一個模型的工作。這裡的一個經典示例是 LIME，它探索複雜模型的局部區域用以發現決策邊界。
一個可解釋模型是用於預測的模型，可以自己直接檢驗和人類專家解釋。
可解釋性是特定於域的概念，因此不能有通用的定義。但是，通常可解釋的機器學習模型 以模型形式受限，因此它對某人有用，或者服從領域的結構知識，例如單調性或來自領域知識的物理約束。
儘管缺乏很明確的定義，但是越來越多的文獻提出了可能是可解釋的算法。 似乎我們可以得出以下結論：要麼是（1）可解釋性的定義是通用的，但沒有人願意打擾用書面形式表達它，或者（2）「可解釋性」的定義不清楚，因此理論上關於機器學習的模型的可解釋性是科學的。 有關文獻的研究表明，後者是符合實際情況的。 關於模型可解釋性的文獻中提出的目標和方法的多樣性表明，可解釋性不是一個單一的概念，而是一組需要分別討論的不同概念。
2、黑匣子模型的解釋並不能真正解釋
對於為黑匣子模型的輸出提供解釋有很多研究。魯丁認為這種方法從根本上是有缺陷的。她的論點的根源是觀察到，即席解釋只是對黑匣子模型所做的事情的「猜測」（我的措詞選擇）：
解釋一定是錯誤的。他們不能對原始模型具有完美的忠誠度。如果解釋完全忠實於原始模型的計算結果，則該解釋將等於原始模型，並且首先不需要解釋的就是原始模型。
甚至「解釋」一詞也是有問題的，因為我們並沒有真正描述原始模型的實際作用。COMPAS（替代性制裁的更正罪犯管理概況）的例子將這種區別變為現實。由ProPublica創建的COMPAS線性解釋模型（取決於種族）被用來指責COMPAS（這是一個黑盒子）取決於種族。但是我們不知道COMPAS是否具有種族特徵（儘管它很可能具有相關變量）。
讓我們停止將近似值稱為黑盒模型預測的解釋。對於沒有明確使用種族的模型，會自動解釋為「此模型預測您是黑人而將您預測為目標對象」，這並不是該模型實際應該做的工作。
在圖像空間中，顯著性地圖可以向我們展示網絡在看什麼，但是其實它們也不能告訴我們網絡在看什麼。許多不同類的顯著性映射可能非常相似。在下面的示例中，基於顯著性的「解釋」看起來非常相似，原因在於模型為何認為圖像是沙啞的，以及為什麼認為圖像是長笛的！
由於黑匣子的解釋並不能真正解釋問題，因此識別黑匣子模型並對其進行故障排除可能非常困難。
3、反對可解釋模型的爭論
考慮到黑匣子模型的問題及其解釋性，為什麼黑匣子模型如此流行？很難與深度學習模型最近取得的巨大成功抗衡，但是我們不應該由此得出結論：更複雜的模型總是更好。
人們普遍認為，越複雜的模型越準確，這意味著要實現最佳的預測性能，就需要一個複雜的黑匣子。但是，通常情況並非如此，尤其是當數據結構化時，就自然有意義的特徵而言，具有良好的表示能力。
由於相信複雜是好的，這也是一個普遍的神話，即如果您想要良好的表現，就必須犧牲可解釋性：
在準確性和可解釋性之間始終需要權衡的信念，導致許多研究人員放棄了試圖產生可解釋模型的嘗試。現在，研究人員已經接受了深度學習方面的培訓，而沒有可解釋的機器學習方面的培訓，這使問題更加複雜。
根據羅生門集的說法，如果我們嘗試，我們往往容易能夠找到一個解釋模型：鑒於數據允許一大組相當準確的預測模型的存在，它往往包含至少一個模型，這是可解釋的。
這給我提出了一種有趣的方法，首先可以在沒有任何特徵工程的情況下嘗試一種相對較快的嘗試深度學習方法的方法。如果產生合理的結果，我們知道數據允許存在相當準確的預測模型，並且我們可以花時間嘗試尋找一種可以解釋的東西。
對於沒有混淆，完整和乾淨的數據，使用黑匣子式機器學習方法比使用一般模型解決問題更容易。但是，對於高風險的決策，分析師的時間和模型運行的時間比具有缺陷或過於複雜的模型的成本要低。
4、創建可解釋的模型
在尋找可解釋的機器學習模型時經常遇到的三個常見挑戰：第一個挑戰是如何構建最佳邏輯模型，第二個挑戰是如何構建最佳（稀疏）評分系統，第三個挑戰是如何定義特定領域中的可解釋性意味著什麼。
4.1 邏輯模型
邏輯模型只是一堆if-then-else語句！這些都是分析師手動去敲的，已經有很長時間了。對於給定的精度水平，理想的邏輯模型將具有最少數量的分支。 CORELS 是一種旨在查找此類最佳邏輯模型的機器學習系統。下面是一個示例輸出模型，其對佛羅里達州Broward County的數據具有與黑盒COMPAS模型相似的準確性：
請注意，圖形標題將其稱為「機器學習模型」。該術語在我看來似乎不太正確。這是一個機器獲悉-model和CORELS是機器學習模型產生的，但是IF-THEN-ELSE語句本身並不是一個機器學習模型。但是，CORELS看起來非常有趣，我們將在下一版《晨報》中對其進行更深入的研究。
4.2 計分系統
計分系統在醫學中普遍使用。我們對最佳評分系統感興趣，這些評分系統是機器學習模型的輸出，但看起來它們可能是人為產生的。例如：
該模型實際上是由RiskSLIM生成的， RiskSLIM是Risk-Supersparse-Linear-Integer-Models算法。
對於CORELS和RiskSLIM模型，要記住的關鍵是，儘管它們看起來簡單且易於解釋，但它們給出的結果具有很高的競爭準確性。讓事情看起來這麼簡單並不容易！我當然知道我願意部署哪種模型並解決給定的問題。
5、可解釋模型的重要性
無論您建立模型的最終目的是什麼，您都會有受眾用戶，都需要向受眾用戶提供可解釋或者可理解、可關聯的模型思路。數據和機器學習模型的可解釋性是在數據科學的 「有用性」中至關重要的方面之一，它確保模型與您想要解決的問題保持一致。
對於一名數據分析師而言，CDA數據分析師認為應重視機器學習模型的可解釋性主要有以下幾個原因：
- 判別並減輕偏差（Identify and mitigate bias）
- 考慮問題的上下文（Accounting for the context of the problem）
- 改進泛化能力和性能（Improving generalisation and performance）
- 道德和法律原因（Ethical and legal reasons）
機器學習模型的可解釋性越強，人們就越容易理解為什麼要做出某些決定或預測。其重要性體現在:建模階段，協助開發人員了解模型，比較選擇模型，必要時優化調整模型；在運營階段向業務方解釋模型的內部機制，並解釋模型的結果。
6、針對特領域的可解釋性進行設計
即使對於機器學習的經典領域，也需要構建潛在的數據表示形式，也可能存在與黑匣子模型一樣準確的可解釋模型。
關鍵是要在模型設計本身中考慮可解釋性。例如，如果數據分析師在哪裡向您解釋為什麼以他們的方式對圖像進行分類，他們可能會指出圖像在推理過程中很重要的不同部分（有點像顯著性），並嘗試說明原因。Chen，Li等人將這個想法引入網絡設計 。建立一個模型，該模型在訓練過程中學習用作班級原型的圖像部分，然後在測試過程中找到與所學原型相似的部分測試圖像。
這些解釋是模型的實際計算，而並非事後解釋。該網絡之所以稱為「看起來像這樣」，是因為其推理過程會考慮圖像的「這個」部分是否看起來像「那個」原型。
圖5表明左側的測試圖片與訓練示例的原型部分。 要分類的測試圖像在左邊，最相似的原型在中間一欄中，顯示測試圖像哪一部分與原型相似的熱圖是在右邊。 我們在右側提供了測試圖像的副本，以便更輕鬆地查看鳥類的哪一部分。 熱圖指的是原型與測試圖像的相似性決定了預測的圖片的類別標籤。在此，圖像被預測為粘土色的麻雀。 頂級原型似乎將鳥的頭部與黏土麻雀的原型頭部進行比較，第二個原型認為鳥的喉嚨，第三隻看羽毛，最後一隻看腹部和腿。 測試圖片 從50開始。 來自51 52，53. 54的原型。圖像由Alina Barnett構建。
7、潛在的政策更改
本文的第4節討論了潛在的政策更改，以鼓勵人們採用可解釋的模型（在高風險情況下特別需要）。
讓我們考慮一個可能存在的要求，即對於某些高風險的決策，當存在具有相同性能水平的可解釋模型時，不應選擇黑匣子機器學習模型。
這聽起來是一個值得實現的目標，但用措辭來說，很難證明不存在可解釋的模型。因此，也許必須要求公司能夠提供證據，證明他們已經在努力的情況下搜索了可解釋的模型……
考慮第二個建議，該建議比上面提供的建議要弱，但可能會產生類似的效果。讓我們考慮是否有可能要求引入黑匣子模型的組織報告可解釋的建模方法的準確性。
如果遵循此過程，那麼如果作者的經驗可以滿足，我們很可能會看到大量部署的黑匣子機器學習模型：
在某些應用程式域中，可能需要一個完整的黑匣子來進行高風險決策。到目前為止，儘管我已經在醫療保健和刑事司法，能源可靠性和財務風險評估方面進行了許多應用程式開發，但我還沒有遇到過這樣的應用程式。
更多乾貨內容陸續分享給大家，請持續關注我們吧！