自今年三月以來，由Facebook數(shù)據(jù)泄漏、“大數(shù)據(jù)殺熟”等事件引起，人們對于數(shù)據(jù)隱私和人工智能技術未來的擔憂等話題的討論突然又迎來了一輪熱潮。這些事件正告訴我們，隱私數(shù)據(jù)及對其加以利用而形成的人工智能技術不僅可以影響國內(nèi)國外，而且已經(jīng)深入了生活的很多部分。

最近，谷歌研究員，深度學習庫Keras作者Franois Chollet對 Facebook事件發(fā)聲，闡述了自己對于AI發(fā)展的擔憂和建議。

社交網(wǎng)絡服務正越來越多地控制我們消費的信息，我們從新聞流中看到的東西已經(jīng)變成了算法的“策劃”。社交媒體算法會越來越多地決定我們閱讀哪些文章、看到哪些電影預告片、我們保持聯(lián)系的對象，以及我們收集到的，表達意見的反饋�！�—Franois Chollet

聲明：這些是我個人的觀點，不是替我的雇主發(fā)言。如果你引用這篇文章，請如實地陳述這些觀點：它們是個人的、推測性的，是非對錯請自行評判。

如果你出生在20世紀80年代和90年代左右，可能還記得現(xiàn)在已經(jīng)絕跡的“電腦恐懼癥”，在21世紀初的一段時間，我親眼目睹過這一現(xiàn)象——隨著個人電腦進入我們的生活，出現(xiàn)在工作場所和家里，很多人都表現(xiàn)地很焦慮、恐懼甚至出現(xiàn)攻擊行為。雖然我們中的一些人被計算機所吸引，并對它們潛在的潛力充滿敬畏，但大多數(shù)人并不了解它們。他們覺得它們很奇怪和深奧，在許多方面會受到威脅。人們擔心會被技術取代。

我們中的大多數(shù)人對技術轉(zhuǎn)變很反感，甚至很恐慌�；蛟S任何變化都會導致這種現(xiàn)象。但很明顯，我們擔心的大部分事情最終都不會發(fā)生。

一晃幾年過去，電腦反對者已經(jīng)學會了生活在電腦的時代并享受它們帶來的便捷。計算機并沒有取代我們，也沒有引發(fā)大規(guī)模的失業(yè)——現(xiàn)在我們不能想象沒有筆記本電腦、平板電腦和智能手機的生活�？赡軙�“帶來威脅”的變化已經(jīng)轉(zhuǎn)變成為帶來舒適的現(xiàn)狀。但與此同時，由于我們不再擔心，電腦和互聯(lián)網(wǎng)的出現(xiàn)對我們產(chǎn)生了威脅，這些威脅幾乎沒有人在20世紀80年代和90年代警告過我們。無處不在的大規(guī)模監(jiān)視，黑客對我們設備或個人數(shù)據(jù)追蹤，社交媒體的心理異化，我們耐心和專注能力的喪失，易受影響的政治或宗教激進化的思想，敵對的外國實力通過社交網(wǎng)絡對西方民主國家的破壞。

如果我們大部分的恐懼都被認為是荒謬的，相反地，過去由于技術變化而發(fā)生的真正令人擔心的發(fā)展都是發(fā)生前大多數(shù)人的不擔心造成的。一百年前，我們無法真正預測到我們正在發(fā)展的運輸和制造技術會導致一場新形式的工業(yè)戰(zhàn)爭，在兩次世界大戰(zhàn)中摧毀數(shù)千萬人。我們并沒有早早意識到收音機的發(fā)明會促成一種新的大眾宣傳形式，促進了意大利和德國的法西斯主義的興起。20世紀20年代和30年代理論物理學的進展并沒有伴隨著關于這些發(fā)展如何能夠形成核武器，使世界永遠處于即將毀滅的威脅之下的報刊文章。而現(xiàn)在，即使數(shù)十年來關于我們這個時代最嚴重的問題——氣候——已經(jīng)迫在眉睫，美國大部分的公眾（44％）仍選擇忽視它。作為一個文明，我們似乎很難正確識別未來的威脅并對它們有合理的擔心，正如我們似乎非常容易因荒謬的恐懼而出現(xiàn)恐慌一樣。

現(xiàn)在，與過去很多次一樣，我們正面臨著一場根本性變革的新浪潮：認知自動化，可由關鍵字“AI”大致概括。就像過去很多時候一樣，我們擔心這種新技術會傷害我們——人工智能會導致大規(guī)模失業(yè)，或人工智能會有自己的力量，變成超人，并選擇摧毀我們。

但如果我們擔心錯誤的事情，就像之前我們每次擔心的一樣呢？如果人工智能的真正危險遠遠不是許多人今天驚慌的“超級智能”和“奇點”觀點呢？在這篇文章中，我想提高人們對人工智能真正擔心的問題的認識：人工智能所實現(xiàn)人類行為的高效、高度可擴展的操縱，以及企業(yè)和政府的惡意使用。當然，這不是認知技術發(fā)展產(chǎn)生的唯一的有形風險——還有很多其他的，特別是與機器學習模型在害偏見有關的問題。其他人比我對這些問題更加警惕。我選擇寫有關關于大規(guī)模人口操縱的文章是因為我認為這種風險很迫切而且不甚明顯。

現(xiàn)在這種風險已成為現(xiàn)實，并且在接下來的幾十年里，一些長期的技術趨勢將會進一步放大這種風險。隨著我們的生活越來越數(shù)字化，社交媒體公司越來越了解我們的生活和思想。與此同時，他們越來越多地通過行為控制向量，特別是通過算法新聞，控制我們的信息消費。這將人類行為變成了一個優(yōu)化問題，一個人工智能問題：社交媒體公司可以迭代調(diào)整其控制向量以實現(xiàn)特定行為，就像游戲人工智能會迭代改進其游戲策略來得分升級。這個過程中唯一的瓶頸是循環(huán)中的算法智能，正如發(fā)生的這樣，最大的社交網(wǎng)絡公司目前正在投入數(shù)十億美元進行基礎人工智能研究。

我來詳細解釋一下。

社交媒體作為心理學監(jiān)獄

在過去的20年，我們的私人和公共生活已經(jīng)向網(wǎng)上轉(zhuǎn)移。我們每天花更多時間盯著屏幕，世界正在轉(zhuǎn)向數(shù)字信息消費、修改或創(chuàng)造的階段。

這種長期趨勢的副作用是公司和政府正在收集有關我們的大量數(shù)據(jù)，特別是通過社交網(wǎng)絡服務。我們與誰交流，我們說了什么，我們一直在消費什么（圖像、電影、音樂和新聞），我們在特定時間的心情。最終，幾乎我們感知的所有東西和我們所做的一切都會記錄在某個遠程服務器上。

理論上這些數(shù)據(jù)使收集它的對象為個人和團隊建立非常準確的心理模型。你的觀點和行為可以與成千上萬的類似的人交叉關聯(lián)，使你對你選擇的內(nèi)容產(chǎn)生不可思議的理解，可能比通過單純的反思可實現(xiàn)的預測性更強（例如，F(xiàn)acebook通過算法評估出的你的個性比你的朋友更準）。這些數(shù)據(jù)可以提前幾天預測你何時開始新的關系（以及和誰），以及何時結束當前的關系�；蛘l有自殺的危險�；蚰阍谝粋�選舉中即使在猶豫不決的情況下最終會投哪一方。而且這不僅僅能對個人級別進行分析，而且對大型群體更有預測性，因為平均行為會排除隨機性和個人異常值。

數(shù)字信息消費作為一種心理控制向量

這并不會停留在被動的數(shù)據(jù)收集消費。社交網(wǎng)絡服務正越來越多地控制我們消費的信息，我們從新聞流中看到的東西已經(jīng)變成了算法的“策劃”。不透明的社交媒體算法會越來越多地決定我們閱讀哪些文章、看到哪些電影預告片、我們保持聯(lián)系的對象，以及我們收集到的，表達意見的反饋。

通過多年的曝光，我們消費信息的算法處理使算法對我們的生活掌握了相當大的權力，包括我們是誰，我們成為了誰。如果Facebook長時間決定你看的新聞（真實的或假冒的），你看的政治地位的變動，以及看你新聞的人，那Facebook就會實際控制你的世界觀和政治信仰。

Facebook的業(yè)務根基在于影響人心，也就是向客戶推銷服務——廣告，包括政治廣告。因此，F(xiàn)acebook已經(jīng)建立了一個微調(diào)算法引擎來實現(xiàn)。這款引擎不僅能夠影響你下一次購買哪個品牌的智能音箱，還可以影響你的情緒，通過調(diào)整給你呈現(xiàn)的內(nèi)容來隨意地讓你生氣或快樂。它甚至可以改變選舉。

人類行為作為優(yōu)化問題

總之，社交網(wǎng)絡公司可以同時了解我們的一切，并控制我們的消費信息。這個趨勢正在加速，當你可以接觸感知和行動時，那就是AI問題。你可以開始建立一個針對人類行為的優(yōu)化循環(huán)，在這個循環(huán)中，你可以觀察目標的狀態(tài)并不斷調(diào)整提供給你的信息，直到開始觀察你想要查看的選擇和行為。人工智能領域的一大部分，特別是“強化學習”，是盡可能有效解決這些優(yōu)化問題的算法研究方向，趨向于閉環(huán)流程，對手頭的目標進行完全控制，也就是對我們進行完全控制。通過把我們的生活轉(zhuǎn)移到數(shù)字領域，我們更容易受到人工智能算法的影響。

人類行為的強化學習循環(huán)

由于人類的思想非常容易受到社交操作的簡單模式的影響，所以這一切變得更加容易。例如，考慮以下的攻擊向量：

身份強化：這是歷史上最早的廣告就開始利用的老技巧，仍和之前的效果一樣好，包括將給定的看法與您確定的標記相關聯(lián)（或希望你做了），從而讓你自動掌握目標的想法。在人工智能優(yōu)化社交媒體消費的背景下，控制算法可以確保你只能看到它希望你看到的和你自己的身份標記共同出現(xiàn)的觀點，相反地，它不希望你看到算法不想讓你看到的觀點。

消極的社交強化：如果你發(fā)表了一篇文章，表達了控制算法不希望你持有的觀點，系統(tǒng)可以選擇只將你的帖子呈現(xiàn)給那些持有相反觀點或極度批判這些觀點的人（可能是熟人，陌生人或機器人）。反復多次，這種社會反彈可能使你偏離你的初始觀點。

積極的社交強化：如果你發(fā)表了一篇文章，表達了控制算法希望傳播的觀點，那么它可以選擇將它只呈現(xiàn)給“喜歡”它的人（甚至可能是機器人）。這會使你的信念加強，讓你覺得你是支持大多數(shù)人的一部分。

取樣偏差：算法也可能向你呈現(xiàn)你朋友（更可能是媒體）發(fā)布的支持算法希望你持有的觀點的帖子。置身于這樣一個信息泡沫中，你會覺得這些觀點獲得的支持比實際更多。

參數(shù)個性化：該算法可能會觀察將特定的內(nèi)容呈現(xiàn)給某些心理屬性與你相近的人，導致它想要的觀點上的轉(zhuǎn)換。然后，它可能給你呈現(xiàn)一些對于具有你的特定觀點和生活經(jīng)驗的人而言會最有效的內(nèi)容。長期如此，該算法甚至可以從頭開始生成這些最有效的內(nèi)容，尤其對于你來說。

從信息安全的角度來看，你會稱這些漏洞為：可用于接管系統(tǒng)的已知漏洞。就人類頭腦來說，這些漏洞永遠不會被修補，它們只是我們工作的方式，存在于我們的DNA中。人類的思維是一個靜態(tài)的、易受攻擊的系統(tǒng)，會越來越多地受到更加聰明的人工智能算法的攻擊，這些算法將同時查看我們所做的和相信的所有事情，并完全控制我們消費的信息。

當前的情況

值得注意的是，將人工智能算法放在我們的信息飲食中引起的大規(guī)模人口操縱，特別是政治控制，不一定需要非常先進的人工智能。你不需要自我意識，超級人工智能是一個可怕的威脅——即使目前的技術可能就已經(jīng)足夠了。社交網(wǎng)絡公司已經(jīng)研究了幾年，并取得了顯著的成果。雖然他們可能只是試圖最大化“參與”并影響你的購買決定，而不是操縱你的世界觀，但他們開發(fā)的工具已經(jīng)被敵對國家為了政治目的而劫持——如2016年英國脫歐公投或2016年美國總統(tǒng)選舉。這已經(jīng)是現(xiàn)實，但如果現(xiàn)在大規(guī)模人口操縱已經(jīng)成為可能，那理論上來說，為什么世界還沒有被顛覆呢？

簡而言之，我認為這是因為我們對人工智能的了解還不夠，但可能馬上就不是這樣了。

直到2015年，業(yè)界的所有廣告定位算法都只是在邏輯回歸上運行。事實上，很大程度上現(xiàn)在仍然如此，只有最大的玩家轉(zhuǎn)向了最先進的模式。Logistic回歸出現(xiàn)在計算時代之前，是用于個性化的最基本的技術之一。這就是為什么你對網(wǎng)上看到的這么多廣告都不感興趣的原因。同樣，敵對國家用來影響公眾輿論的社交媒體機器人幾乎沒有用AI。目前它們都非常原始。

近年來機器學習和人工智能取得了飛速的進展，才剛剛開始部署針對算法和社交媒體機器人。2016年機器學習才開始進入新聞傳播和廣告網(wǎng)絡，誰也不知道接下來會發(fā)生什么。Facebook在 AI研究和開發(fā)方面投入了大量資金，它明確的目標是成為該領域的領導者，這一點非常驚人。當你的產(chǎn)品是社交新聞推送時，自然語言處理和強化學習有什么用呢？

我們正在看著一家這樣的公司，該公司可為近20億人類構建細致的心理特征模型，作為其中許多人的主要新聞來源，運行大規(guī)模的行為操縱實驗，旨在開發(fā)目前為止的最佳人工智能技術。對我來說，它令我害怕，而且我認為Facebook甚至可能不是最令人擔心的威脅。許多人喜歡假裝大公司是現(xiàn)代世界的全能統(tǒng)治者，但他們擁有的權力與政府相差甚遠。如果對我們的思想進行算法控制，政府可能會成為最差的行為者，而不是公司。

現(xiàn)在，我們能做些什么呢？我們?nèi)绾伪Ｗo自己？作為技術人員，我們做什么才可以通過我們的社交新聞推送來避免大規(guī)模操縱的風險？

硬幣的另一面：AI可以為我們做什么

重要的是，這種威脅的存在并不意味著所有的算法策略都不好，或者說所有的目標廣告都不好。相反，這兩者都可以起到有價值的作用。

隨著互聯(lián)網(wǎng)和人工智能的興起，將算法應用于我們的信息獲取路徑不僅僅是必然的趨勢，而且是一個理想的趨勢。隨著我們的生活越來越數(shù)字化和互聯(lián)，信息越來越密集，我們需要人工智能作為我們與世界的接口。長遠來看，教育和自我發(fā)展將是人工智能最有影響力的應用之一，這將是動態(tài)的，這些動態(tài)變化幾乎完全反映了試圖操縱你的惡意AI支持的新聞推送。算法信息管理幫助我們的潛力很大，使人們更好地發(fā)揮他們的個人潛力，并幫助更好地管理社會。

這個問題不是AI本身，問題在于控制。

我們不應該讓新聞推送算法操縱用戶實現(xiàn)不透明的目標，比如動搖他們的政治觀點，或者極大地浪費他們的時間，而應該讓用戶控制算法優(yōu)化的目標。畢竟，我們談論的是，關于你的新聞、你的世界觀、你的朋友、你的生活，技術對你的影響應該由你自己來控制。信息管理算法不應該是為了服務與我們自身利益相反的目標而設計的神秘力量；相反，他們應該成為我們手中的工具，一種可以實現(xiàn)我們目的的工具，比如教育和個人而不是娛樂。

這里有一個想法——任何大規(guī)模采用的算法新聞采訪應該：

透明地傳達推送算法目前優(yōu)化的目標，以及這些目標如何影響你的信息獲取。

給你設定這些目標的直觀工具，例如，應該可以配置新聞源在特定的方向最大限度地提高學習和個人成長。

具備始終可見的特性，測量你在Feed上花費的時間。

具備工具可以控制在優(yōu)化Feed上花費的時間，例如每日的時間目標，算法將通過此目標設計讓你脫離優(yōu)化Feed。

在保持控制的同時用AI加強自己

我們應該建立人工智能來為人類服務，而不是為了利潤或政治利益來操縱它們。如果新聞算法不像賭場運營商或宣傳人員那樣運作，事情會變成什么樣？如果它們更接近一位導師或一個好的圖書管理員，通過對你的心理以及其他數(shù)百萬其他人員的心理的敏銳理解，向你推出一本最能引起你共鳴并使你成長的一本書。一種你生活的導航工具——人工智能可以引導你通過體驗空間的最佳路徑到你想去的地方。你能想象經(jīng)歷過數(shù)百萬生命的系統(tǒng)的鏡頭來看待自己的生活嗎？或者與一個讀過每本書的系統(tǒng)一起寫書？又或者與一個能看到當前人類知識全部范圍的系統(tǒng)合作研究？

在完全控制與你交互的AI產(chǎn)品中，更復雜的算法而不是威脅，將會是一個積極的方面，它可以讓你更有效地實現(xiàn)自己的目標。

構建反臉書

總的來說，，未來人工智能將成為我們與數(shù)字信息組成的世界的接口。這同樣賦予個人更大的生命控制權，甚至可能完全沒有機構。不幸的是，今天的社交媒體正在走一條錯路，我們很久之后才能扭轉(zhuǎn)局面。

而業(yè)界需要開發(fā)激勵使影響用戶的算法受用戶控制，而不是通過人工智能利用用戶的思想來獲取利潤或政治利益的產(chǎn)品分類和市場。我們需要努力實現(xiàn)反臉書（anti－Facebook）的產(chǎn)品。

在遙遠的未來，這些產(chǎn)品可能會是AI助手的形式。數(shù)字導師編程幫助你，使你控制與它們交互時想要達到的目標。在目前，搜索引擎可以被看作是AI驅(qū)動信息界面的早期的、更原始的例子，它為用戶提供服務而不是試圖綁架他們的心理世界。搜索是查找特定目標時特意用的工具，而不是被動地讓你接收選舉人向你推薦的東西。你應該辨別它可以為你做什么。搜索引擎應該嘗試最小化從發(fā)生到解決，從問題到答案的時間，而不是最大化地浪費你的時間。

你可能會想，因為搜索引擎仍然是我們和我們消費的信息之間的AI層，它是否可以使它的結果更傾向于試圖操縱我們？是的，每種信息管理算法都存在這種風險。但與社交網(wǎng)絡形成鮮明對比的是，這種情況下的市場激勵實際上與用戶需求一致，使搜索引擎盡可能相關和客觀。如果它們不能最大限度地發(fā)揮作用，那么用戶轉(zhuǎn)向競爭產(chǎn)品基本沒有阻礙。重要的是，搜索引擎比社交新聞的心理攻擊范圍小的多。我們在這篇文章中描述的威脅需要產(chǎn)品中出現(xiàn) 以下大部分特點：

感知和行動：產(chǎn)品不僅應該控制顯示給你的信息（新聞和社交更新），還應該能夠通過“喜歡”、聊天信息和更新的狀態(tài)來“感知”你當前的心理狀態(tài)。沒有感知和行動，就不能建立強化學習循環(huán)（reinforcement learning loop）。作為古典傳播的潛在渠道，只讀優(yōu)化推送有害無益。

我們生活的中心性：產(chǎn)品應該是至少一部分用戶的主要信息來源，典型的用戶應該每天花費幾個小時在上面。輔助和專業(yè)性的推送（feed）（如亞馬遜的產(chǎn)品推薦）不會是一個嚴重的威脅。

社會的組成使心理控制向量（特別是社會強化）更廣泛和有效，客觀的新聞推送只占我們思想的一小部分。

業(yè)務激勵意在操縱用戶并使用戶在產(chǎn)品上花費更多時間。

大多數(shù)AI驅(qū)動的信息管理產(chǎn)品都不符合這些要求。另一方面，社交網(wǎng)絡是風險因素可怕的組合。作為技術專家，我們應該傾向于那些不具備這些特征的產(chǎn)品，抵制將它們結合在一起的產(chǎn)品，只要因為他們有可能發(fā)生危險的濫用行為。建立搜索引擎和數(shù)字助理而不是社會新聞源，使你的推薦引擎透明、可配置、富有建設性，而不是像投幣口一樣的機器——最大限度地提高“參與度”，浪費人們的時間。公司應該將精力投資在用戶界面、用戶體驗和人工智能專業(yè)知識上，為你的算法構建好的配置面板，使你的用戶能夠按需使用你的產(chǎn)品。

重要的是，我們向用戶普及這些問題，防止他們拒絕操縱產(chǎn)品，導致足夠的市場壓力使技術行業(yè)的激勵機制與消費者的激勵機制被迫調(diào)整。

結論：前方路上的岔路口

社交媒體不僅足夠了解我們，可以為個人的團隊建立強大的心理模型，還越來越多地控制我們的信息飲食。它有一系列有效的心理療效，可以操縱我們相信的東西，我們的感受以及我們的所作所為。

一個足夠先進的人工智能算法，可以連續(xù)循環(huán)訪問我們的心理狀態(tài)的感知和行動，可以用來有效地劫持我們的信仰和行為。

讓AI作為我們的信息接口本身不是問題。這樣人工智能交互界面，如果設計的好，有可能為我們所有人帶來巨大的利益。關鍵是：用戶應該完全控制算法的目標，將其用作實現(xiàn)自己目標的工具（與使用搜索引擎的方式相同）。

作為技術專家，我們有責任推銷抵制不可控產(chǎn)品，并致力構建使用戶控制的信息界面。不要將AI用作操縱用戶的工具；相反，使AI作為用戶的工具，使其在很多情況下獲得更多的代理權。

一條路通向讓我十分害怕的地方，另一條會通向更人性化的未來。我們?nèi)杂袝r間選擇更好的一條。如果你使用這些技術，請牢記一點，你可能沒有邪惡的意圖，你可能根本不在乎，或你可以僅僅評估自己的受限股權（RSU），而不關注我們共同的未來。但是無論你是否在意，你掌握了數(shù)字世界的基礎設備，所以你的選擇會影響我們所有人。你最終必須向所有這些負責。