今天的人工智能系統(tǒng)在貸款、醫(yī)療診斷和假釋等方面的決策中扮演了重要角色。而由于它們也是不透明的系統(tǒng)，所以使得它們?nèi)菀资艿狡�見影響。在缺乏透明度的情況下，我們永遠(yuǎn)不會知道為什么一名41歲的白人男性和一名18歲的黑人女性犯下類似的罪行，會被AI軟件分別評估為“低風(fēng)險”與“高風(fēng)險”。

出于商業(yè)和技術(shù)原因，目前無法對大多數(shù)人工智能決策進(jìn)行自動生成的高保真解釋。這就是為什么我們應(yīng)該推動負(fù)責(zé)高風(fēng)險決策的AI系統(tǒng)的外部審計。大規(guī)模的自動審計可以系統(tǒng)地探測AI系統(tǒng)，并發(fā)現(xiàn)偏見或其他不良行為模式。

最臭名昭著的黑匣子AI偏見例子是美國司法系統(tǒng)中使用的軟件，該軟件用于推薦量刑和罰款數(shù)額等。ProPublica對用于假釋決策的、最廣泛使用的再犯算法之一的分析揭示了潛在的重大偏見和不準(zhǔn)確性。在探測更多信息時，創(chuàng)建者拒絕分享其專有算法的細(xì)節(jié)。這種保密使被告難以在法庭上質(zhì)疑這些決定。

其實媒體也報道了在其他許多情況下存在的人工智能偏見，比如一個令人畏懼的機(jī)器人，告訴亞洲人在護(hù)照取證時“睜開眼睛”；比如面部識別系統(tǒng)在識別黑皮膚和女性面孔方面不太準(zhǔn)確；比如人工智能招聘工具歧視女性等。

作為回應(yīng)，監(jiān)管機(jī)構(gòu)試圖通過所謂的“可解釋人工智能”來強(qiáng)制實現(xiàn)透明度。例如，在美國，拒絕個人貸款申請的貸方必須為不利決定提供“具體原因”。在歐盟，GDPR要求所有高風(fēng)險自動決策的“解釋權(quán)”。

不幸的是，可解釋AI的挑戰(zhàn)是艱巨的。首先，解釋可以揭露專有數(shù)據(jù)和商業(yè)秘密。解釋在大數(shù)據(jù)集上訓(xùn)練的復(fù)雜非線性神經(jīng)網(wǎng)絡(luò)模型的行為也非常困難。我們?nèi)绾谓忉審臄?shù)千個輸入的加權(quán)非線性組合得出的結(jié)論，每個輸入都為整體判斷提供了微觀的百分點？因此，我們通常會在自動解釋AI決策時在保真度和準(zhǔn)確度之間進(jìn)行權(quán)衡。

例如，Netflix試圖根據(jù)你之前觀看過的一個節(jié)目來解釋其推薦算法。實際上，它的建議基于眾多因素和復(fù)雜算法。盡管Netflix建議背后的簡化說明是無害的，但在高風(fēng)險情況下，這種過度簡化可能是危險的。

即使是簡單的預(yù)測模型也可能表現(xiàn)出違反直覺的行為。AI模型容易受到稱為辛普森悖論的普遍現(xiàn)象的影響，其中行為由潛在的未觀察變量所驅(qū)動。在最近的一個案例中，研究人員發(fā)現(xiàn)，哮喘病史會降低患者肺炎死亡的風(fēng)險。對于醫(yī)療保健從業(yè)者和哮喘患者來說，這種天真的解釋會產(chǎn)生誤導(dǎo)。實際上，這一發(fā)現(xiàn)歸因于那些有哮喘病史的人更有可能立即得到護(hù)理。

這不是一個孤立的事件，這些錯誤的結(jié)論不能用更多的數(shù)據(jù)輕易解決。盡管我們付出了最大的努力，但人工智能的解釋仍然很難理解。

為了提高透明度，我們倡導(dǎo)可審計的人工智能，這是一種可以通過假設(shè)案例進(jìn)行外部查詢的人工智能系統(tǒng)。這些假設(shè)情況可以是合成的也可以是真實的——允許對模型進(jìn)行自動、即時、細(xì)粒度的詢問。這是監(jiān)控AI系統(tǒng)偏見或脆弱跡象的簡單方法：如果我們改變被告的性別會怎樣？如果貸款申請人居住在歷史上的少數(shù)民族社區(qū)，會發(fā)生什么？

與可解釋的AI相比，可審計的AI有幾個優(yōu)點。讓中立的第三方調(diào)查這些問題比使用算法創(chuàng)建者控制的解釋更好地檢查偏見。其次，這意味著軟件的生產(chǎn)者不必暴露其專有系統(tǒng)和數(shù)據(jù)集的商業(yè)秘密。因此，人工智能審計可能會面臨較小的阻力。

審計是對解釋的補(bǔ)充。事實上，審計可以幫助調(diào)查和驗證（或無效）AI解釋。比如Netflix推薦《陰陽魔界》，因為我看過《怪奇物語》。它還會推薦其他科幻小說恐怖節(jié)目嗎？它是否向所有觀看過《怪奇物語》的人推薦《陰陽魔界》？

可審計人工智能的早期用例已經(jīng)產(chǎn)生了積極的影響。ACLU最近透露，亞馬遜可審計面部識別算法的準(zhǔn)確度幾乎是錯誤識別的兩倍。越來越多的證據(jù)表明，公共審計可以提高代表性不足群體的模型準(zhǔn)確性。

在未來，我們可以設(shè)想一個強(qiáng)大的審計生態(tài)系統(tǒng)，提供對AI的見解。我們甚至可以想象“AI監(jiān)護(hù)人”，一個基于審計建立AI系統(tǒng)的外部模型。監(jiān)管機(jī)構(gòu)可以堅持要求用于高風(fēng)險決策的AI系統(tǒng)提供審計接口，而不是要求AI系統(tǒng)提供低保真度的解釋。

可審計的AI不是靈丹妙藥。如果AI系統(tǒng)正在進(jìn)行癌癥診斷，患者仍然需要準(zhǔn)確且易于理解的解釋，而不僅僅是審計。這些解釋是正在進(jìn)行的研究主題，并且有望在不久的將來為商業(yè)用途做好準(zhǔn)備。但與此同時，可審計的人工智能可以提高透明度，并打擊偏見。