任何AI應(yīng)用的成功都與訓(xùn)練數(shù)據(jù)密切相關(guān)。您不僅需要合適的數(shù)據(jù)質(zhì)量和合適的數(shù)據(jù)量，還要主動確保您的AI工程師沒有將自己的潛在偏誤傳遞到開發(fā)的產(chǎn)品上。如果工程師任由自己的世界觀和成見影響數(shù)據(jù)集——也許提供僅限于某個(gè)統(tǒng)計(jì)人群或焦點(diǎn)的數(shù)據(jù)，依賴AI解決問題的應(yīng)用系統(tǒng)將同樣有偏誤、不準(zhǔn)確、用處不大。

簡而言之，我們必須不斷檢測并消除AI應(yīng)用系統(tǒng)中的人為偏誤，才能讓這項(xiàng)技術(shù)發(fā)揮潛力。我預(yù)計(jì)，隨著AI繼續(xù)從一種比較新的技術(shù)迅速變成一種完全無處不在的技術(shù)，偏誤審查力度只會有增無減。但必須克服人為偏誤才能真正實(shí)現(xiàn)這一幕。Gartner在2018年的一份報(bào)告預(yù)測，到2030年，85％的AI項(xiàng)目將提供數(shù)據(jù)或算法中內(nèi)置的偏誤或管理那些部署的團(tuán)隊(duì)中存在的偏誤所導(dǎo)致的錯誤結(jié)果。事關(guān)重大；錯誤的AI會導(dǎo)致聲譽(yù)嚴(yán)重受損，并給基于AI提供的錯誤結(jié)論做出決策的企業(yè)帶來慘重的失敗后果。

AI偏誤有多種形式。源自開發(fā)人員的認(rèn)知偏誤會影響機(jī)器學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù)集。實(shí)際上，偏誤固化到算法中。不完整的數(shù)據(jù)本身也會產(chǎn)生偏誤——如果信息因認(rèn)知偏誤而被忽略，尤其如此。一個(gè)在沒有偏誤的情況下訓(xùn)練和開發(fā)的AI投入使用時(shí)，其結(jié)果仍有可能受到部署偏誤的影響。匯總偏誤是另一種風(fēng)險(xiǎn)，當(dāng)針對AI項(xiàng)目做出的小選擇對結(jié)果的完整性產(chǎn)生巨大的集體影響時(shí)，就會出現(xiàn)這種情況。簡而言之，任何AI環(huán)節(jié)都有許多固有的步驟會被引入偏誤。

為了實(shí)現(xiàn)可信賴的依賴AI的應(yīng)用系統(tǒng)，可以面對無數(shù)用例（和用戶）始終如一地獲得準(zhǔn)確的輸出，組織就需要有效的框架、工具包、流程和政策來識別和積極減少AI偏誤�？捎玫拈_源工具有助于測試AI應(yīng)用，看看數(shù)據(jù)中是否存在特定的偏誤、問題和盲點(diǎn)。

AI框架。旨在保護(hù)組織免受AI偏誤風(fēng)險(xiǎn)的框架可以引入制衡機(jī)制，最大限度地減少整個(gè)應(yīng)用開發(fā)和部署過程中的不當(dāng)影響。可以使用這些框架，將可信無偏誤實(shí)踐的衡量基準(zhǔn)實(shí)現(xiàn)自動化，并植入到產(chǎn)品中。

這里有幾個(gè)例子：

工具包。組織還應(yīng)該利用可用的工具包來識別和消除機(jī)器學(xué)習(xí)模型中存在的偏誤，并識別機(jī)器學(xué)習(xí)管道中的偏誤模式。以下是一些特別有用的工具包：

流程和政策。組織可能需要引入專門設(shè)計(jì)的新流程，以消除AI的偏誤并加大對AI系統(tǒng)的信任。這些流程定義了偏誤度量指標(biāo)，并根據(jù)那些標(biāo)準(zhǔn)定期徹底地核查數(shù)據(jù)。政策應(yīng)該發(fā)揮一種類似的作用，建立治理機(jī)制，要求嚴(yán)謹(jǐn)?shù)膶?shí)踐和謹(jǐn)慎的行動，以最大限度地減少偏誤和解決盲點(diǎn)。

那些采取措施以減少AI系統(tǒng)中偏誤的組織可以將這種潛在的危機(jī)轉(zhuǎn)化為獲取競爭差異化優(yōu)勢的機(jī)會。倡導(dǎo)反偏誤措施可以使客戶對AI應(yīng)用系統(tǒng)抱有更大的信心和信任，從而使組織與眾不同。今天尤其如此，而隨著AI遍地開花，將更是如此。在追求無偏誤的AI方面確保透明度有利于企業(yè)發(fā)展。

先進(jìn)的新AI算法正將AI帶入新領(lǐng)域——從合成數(shù)據(jù)生成到遷移學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、生成式網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)，不一而足。這每一個(gè)令人興奮的新應(yīng)用對偏誤影響都會有各自的敏感性，必須先解決這些問題，這些技術(shù)才會蓬勃發(fā)展。

就AI偏誤而言，錯不在AI而在我們自己。應(yīng)采取所有可用的措施以消除AI中的人為偏誤，使組織能夠開發(fā)出更準(zhǔn)確、更有效、對客戶更有吸引力的應(yīng)用系統(tǒng)。

原文標(biāo)題：AI bias is prevalent but preventable — here’s how to root it  out，作者：Shomron Jacob， Iterate．a(chǎn)i

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處】

來源：51CTO布加迪