多方如何實現(xiàn)“共同富�！�，聯(lián)邦學習的收益分配

聯(lián)邦學習助力物聯(lián)網(wǎng)發(fā)展，那么，多個數(shù)據(jù)方是如何打破“數(shù)據(jù)孤島”，實現(xiàn) “共同富裕呢？聯(lián)邦學習的收益分配是怎樣的呢？

于涵教授表示�！霸诼�(lián)邦學習機制下，參與各方的身份和地位相同，各參與方把加密后的數(shù)據(jù)貢獻給聯(lián)邦，然后數(shù)據(jù)聯(lián)盟訓練一個聯(lián)邦模型，這個模型再開放給各數(shù)據(jù)使用方，達到數(shù)據(jù)的有效整合及使用，能夠?qū)崿F(xiàn)打通“數(shù)據(jù)孤島�！�

然而，在帶來效益的同時，聯(lián)邦學習也可能給企業(yè)帶來額外成本。具體來說，參與者加入聯(lián)邦需要對聯(lián)邦做出貢獻，把加密后的數(shù)據(jù)貢獻給聯(lián)邦，會產(chǎn)生數(shù)據(jù)成本和資金成本，且不同質(zhì)量的數(shù)據(jù)方加入聯(lián)邦、不同給時間節(jié)點加入聯(lián)盟的成本和效益可能不完全相同。

“一個數(shù)據(jù)聯(lián)盟的可持續(xù)發(fā)展取決于其能否持續(xù)吸引高質(zhì)量的個人機構(gòu)數(shù)據(jù)持有人的參與”于涵教授強調(diào)。

如何吸引高質(zhì)量的個人機構(gòu)數(shù)據(jù)參與進來？在解答這個問題之前，了解收益分配博弈是很有必要的。三類利潤分配博弈中的分配方案包括平均主義、邊際收益和邊際損失。假設按照平均主義，數(shù)據(jù)聯(lián)盟產(chǎn)生的收益在參與者中平均分配，邊際收益則按照某個參與者加入聯(lián)盟時帶來的邊際收益確定他所應得的收益，邊際損失則按照某個參與者退出聯(lián)盟帶來的邊際損失確定他所應得的收益；從系統(tǒng)角度考慮，總體目標是最大化集體效用。

這些分配方案都有各自的優(yōu)劣，如何尋找一種適合聯(lián)邦學習的分配方案？答案是聯(lián)邦學習激勵機制。數(shù)據(jù)聯(lián)盟參與者模型中核心問題是如何公平地對待參與者，通過綜合考量數(shù)據(jù)方對聯(lián)盟的貢獻以及參與聯(lián)盟的代價，評估收益分配能否補齊成本，即評估公平度目標。

因此，聯(lián)邦學習的解決方案是基于排隊系統(tǒng)為公平度目標建模，通過保證排隊系統(tǒng)穩(wěn)定，保證參與者等候全額補償?shù)臅r間有限。另外，模型的公平性維度有三個，一是一個參與者所貢獻的數(shù)據(jù)為聯(lián)邦模型帶來的邊際效益越高，他所應得得補償也越高；二是“遺憾”度及等待時長應在所有參與者間盡量均勻分布；公平性緯度三即在不同時間點之間，“遺憾”度及等待時長的變化盡量不要太劇烈最后在優(yōu)化目標函數(shù)。通過優(yōu)化目標函數(shù)，實現(xiàn)最大化公平度。

基于此，聯(lián)邦學習激勵機制的利益分配方案是最大化數(shù)據(jù)聯(lián)盟的整體效用，同時最小化參與者之間在“遺憾”和等待時長兩個維度的不均衡。

聯(lián)邦學習，機遇與挑戰(zhàn)并存

聯(lián)邦學習解決了在保證數(shù)據(jù)安全的前提下解決了“數(shù)據(jù)孤島”問題，同時聯(lián)邦學習通過聯(lián)邦激勵機制實現(xiàn)參與方的收益分配盡可能公平。在未來，聯(lián)邦學習還將帶給我們更多驚喜，尤其在生態(tài)建設方面，主要包括開源、技術(shù)標準和商業(yè)賦能等領(lǐng)域。

在開源方面，微眾銀行基于“聯(lián)邦學習”開發(fā)了聯(lián)盟AI系統(tǒng)并開源聯(lián)盟AI解決方案FATE（Federated AI Technology Enabler）。作為聯(lián)邦學習領(lǐng)域第一個商用級開源項目，F(xiàn)ATE為開發(fā)者提供所必須的多方協(xié)同建模工作流管理、加密機器學習工具庫和并行計算基礎設施抽象三層能力，同時提供了很多開箱即用的聯(lián)邦學習算法和聯(lián)邦遷移學習算法供開發(fā)者參考，極大簡化了聯(lián)盟AI開發(fā)的流程并降低了部署難度。這項開源技術(shù)的產(chǎn)生極大降低了企業(yè)加入聯(lián)盟AI生態(tài)，拓展合作協(xié)同式AI技術(shù)的門檻，為企業(yè)技術(shù)合作，協(xié)同建模，共建生態(tài)奠定了技術(shù)基礎。

在技術(shù)標準方面，2018年12月4日，電氣和電子工程師協(xié)會標準委員會（IEEE Standard Association）批準由微眾銀行發(fā)起的關(guān)于聯(lián)邦學習架構(gòu)和應用規(guī)范的標準P3652．1（Guide for Architectural Framework and Application of Federated Machine Learning）立項。此次會議上，微眾銀行宣布面向社會征稿，接收的優(yōu)秀論文將受邀在IEEE Intelligent System 特刊發(fā)表。

除源、技術(shù)標準外，商業(yè)賦能更是另一重要方面，尤其是智慧城市。城市計算事業(yè)部AI平臺部負責人張鈞波向大家介紹了城市計算與跨越學習聯(lián)合建模，城市計算（Urban Computing）通過城市數(shù)據(jù)的采集、管理、分析挖掘和服務提供，解決交通、規(guī)劃、環(huán)境等問題。但由于數(shù)據(jù)異構(gòu)、多源性及時空動態(tài)分布，城市計算面臨一個重大挑戰(zhàn)即城市感知的數(shù)據(jù)缺失，京東通過跨域?qū)W習聯(lián)合建模，建立聯(lián)邦學習＋隨機森林的聯(lián)邦隨機森林，打通數(shù)據(jù)壁壘，解決數(shù)據(jù)孤島問題。

聯(lián)邦學習帶給我們更多驚喜的同時，也面臨諸多挑戰(zhàn)，如何避免模型攻擊和數(shù)據(jù)攻擊，如何讓聯(lián)邦學習在安全合規(guī)前提下提高算法效率，這需要學界與業(yè)界更多參與者共同探索！