破解数据孤岛壁垒三篇论文详细解读联邦学习

雷锋网 AI 科技评论按:香港科技大学讲席教授、微众银行首席人工智能官(CAIO)杨强讲授是机器学习领域内活动积极的学者,也是大家非常熟悉的机器学习研究人员之一。

通过顺线追踪,专案组迅速确定“三朵金花”网络赌博平台的窝点藏匿在湖北省天门市的一个小区里。9月1日17时许,专案民警冲进出租屋一举抓获“三朵金花”网络赌博平台的幕后老板郭某和李某,并抓获平台客服王某和廖某,当时该平台还在运行中。民警现场缴获涉案电脑2台、作案手机27部、涉案车辆3台。随后,警方在湖北省仙桃市一居民楼内将“三朵金花”网络赌博软件的研发者吴某抓获归案。

在这篇论文中,作者们提出了一种新的强化学习方案,它考虑到了上述的隐私要求,然后在其它智能体的帮助下为每个智能体构建新的 Q 网络。这就是联邦强化学习(FRL)。

截至目前,警方已抓获违法犯罪嫌疑人20名,其中该犯罪团伙主要犯罪嫌疑人及部分下线代理商等18名犯罪嫌疑人已经被依法移送起诉,2名违法行为人被治安处罚。案件的侦查工作以及其余人员的抓捕仍在紧张进行中。

长江经济带是联结“一带一路”的重要纽带,是推动陆海内外联动、东西双向互济的重要通道。

为了保护数据和模型的隐私,在不同的智能体之间共享信息、更新本地模型时都会对信息使用高斯差分保护。作者们在 Grid-world (多种不同尺寸)和 Text2Action 两个截然不同的任务中评估了联邦强化学习方法,不仅比所有同样使用了部分观察结果的方法表现更好,甚至和直接把所有信息作为输入的方法取得了同等的表现。

郭某、李某是“三朵金花”网络赌博平台的实际运营者即老板。两人高薪雇佣王某和廖某作为平台的客服,平时负责照看平台的运行。郭某和李某购买电脑2台,作案手机27部,在湖北省天门市一小区内租赁房屋,组织大量参赌人员通过“炸金花”的方式公开进行网络赌博,并发展下线代理商。

广东队主教练杜锋赛后自信地表示:“第二节我们打得太犹豫,首节防得对手出现9次失误,但次节轮到我们出现6次,造成上半场有些起伏。下半场经过布置,回到我们的节奏上。只要按我们的节奏打,取胜是没什么问题的。”

蒋超良指出,涉及长江的一切活动都以不破坏生态环境为前提,治理污染不讲条件,严守红线不让分毫,修复生态不打折扣。

这篇论文中作者们提出了一个基于联邦学习的,新的无损、保护隐私的提升树(tree-boosting)系统 SecureBoost 安全树模型。它可以让多个机构的学习过程共同进行,用户样本只需要有一部分相同,但可以使用完全不同的特征集,相当于对应了不同的垂直分组的虚拟数据集。SecureBoost 安全树模型的优点是,它在训练数据保持多方相互保密的前提下,可以达到和不保护隐私的方法相同的性能;而且这个过程还不需要一个共同信任的第三方参与。

2019年4月,村民张某通过微信下载了“三朵金花”网络赌博游戏。其后,在游戏中购买金币(1元人民币购买1个金币),以“炸金花”的方式进行赌博,并伙同他人在该网络赌博平台多次进行赌博。直到6月下旬,总共输掉16万余元,血本无归后才如梦初醒,来到汝南县公安局报案。

通过警方侦查,“三朵金花”网络赌博平台自2018年10月到2019年9月1日,运营近11个月,发展下线代理商70多名,下线代理商涉及湖北、湖南、贵州等9个省份20多个地市,参赌人员近万人。

雷锋网原创文章,。详情见转载须知。

杨强教授对于数据运用的问题有较多研究,比如他经常在公众场合谈及的「迁移学习」(Transfer Learning),其作用就是帮助只有小数据的任务运用来自其他相关任务的大数据,从而获得更好的表现,应用例子比如贷款风控策略在不同用户类别间的迁移、推荐系统的策略迁移、舆情分析中的迁移学习等。

详细阅读论文原文参见:

羊城晚报记者 周方平

安全性是这篇论文所提方法的重要考虑因素,安全保护涵盖了训练、评估、交叉验证的全过程。安全的迁移交叉验证机制确保数据能为联邦内的成员带来性能提升(相比于传统的考虑到安全因素的方法会带来准确率损失)。作者们还提出的可拓展、灵活的方法,为神经网络模型提供额外的同态加密功能,只需要对模型做微小的调整。联邦迁移学习框架非常灵活,可以高效地应用在许多现实世界的机器学习任务中,提供安全的多方性能提升。

首节,广东队狂飙突进,其速度令北京队防不胜防,砍下29分后一节就领先12分。第二节北京队及时改变策略,通过包夹威姆斯等战术令广东队失误增多,单节赢回14分,半场结束时反以50比48领先。

近日,河南省驻马店市汝南县公安局从一件看似普通的网络赌博案入手,历时四个多月,跨越9个省份20多个地市,成功打掉“三朵金花”网络赌博平台,挖出一个组织结构清晰、职责分工明确、涉案金额1.5亿元的特大网络赌博团伙。现已依法移送起诉18人,治安拘留并罚款两人,收缴涉案电脑4台、手机28部、涉案车4辆。

雷锋网(公众号:雷锋网) AI 科技评论报道。

联邦强化学习框架示意图

2014年以来,湖北省和中国社科院围绕长江中游城市群发展、长江经济带开放开发,联合开展重大专题调查研究。“长江高端智库对话”研究探讨新时代长江经济带经济由高速增长阶段转向高质量发展阶段的特征、内涵、指标体系、重点、路径、保障措施和评估等,为推动其高质量发展提供决策服务和智力支持。本次大会分设生态环境大保护与长江经济带高质量发展;创新驱动与长江经济带高质量发展;区域协调发展新机制与长江经济带高质量发展;学术研究助推长江经济带高质量发展四个专题。(完)

杨强教授带领微众银行 AI 团队针对这类问题研究了「联邦学习」(Federated Learning)的解决方案。在 2018 年 12 月的「新一代人工智能院士高峰论坛」演讲中,杨强教授也简单介绍过联邦学习的两种模式:纵向联邦学习,不同的数据库中有部分数据特征是相同的,A 方和 B 方都持有模型的一部分,通过同态加密技术传递重要的参数;第二种模式,横向联邦学习,在 A 方、B 方各自更新模型并上传,云端服务器根据一定的策略统一更新他们的模型。

根据吴某的设计,“三朵金花”网络赌博平台自动按照赢家每次赢钱金额的3%抽取非法利润,抽取的非法利润直接归郭某和李某支配。截至案发时,郭某、李某从该平台抽取的非法利润达461万余元,该平台参赌金额计1.5亿元。

随着这5名犯罪嫌疑人的落网,专案民警通过大量深入细致的工作,发现该犯罪团伙组织结构清晰,在实施犯罪活动中,责任分工明确,分为多个层级。

通过近期的三篇论文,微众 AI 团队介绍了联邦学习思路下针对有安全需求的有监督学习、强化学习、决策树的具体方法:安全的联邦迁移学习、联邦强化学习以及 SecureBoost 安全树模型。

谢伏瞻表示,要稳妥推进长江管理体制改革,改变“九龙治水”局面,推动航运、水务、生态环境等部门以及沿江省市的统一行动;加快市场化、多元化的生态补偿机制建设,让更多企业、社会组织参与到长江大保护中;统一长江治理的法律规范,加大执法监督力度,推进联合执法、区域执法、交叉执法,强化执法监督和责任追究。

每次京粤大战都火星四溅,留下令人难忘的印记,这次也不例外。随着马布里离去,北京队近两个赛季实力下降明显,但凶悍的防守仍在联盟中独树一帜。以高强度的防守带动进攻,是北京队赖以生存的最大本领。而广东队是快速进攻的代表,场均可得124分,仅次于新疆队,上一轮还单场得到151分,创下队史单场得分纪录。

湖北是长江经济带重要省份,该省持续做好生态修复、环境保护、绿色发展“三篇文章”。数据显示,湖北省约22.3%的版图面积纳入生态红线保护范围,4230条河流、755个湖泊实现“河湖长制”全覆盖,岸滩复绿800多万平方米,长江绿色生态廊道正加快形成。此外,湖北以“铁腕治江”力度推进环境保护;全要素、全产业链、全地域推动高质量发展,在推动绿色发展上做“加法”,在淘汰落后产能上做“减法”,在创新驱动发展上做“乘法”,在优化营商环境上做“除法”。

近几年,领域发现还存在另一种于迁移学习相似,但更有挑战性、也更有应用价值的问题,但无法直接用迁移学习的方法解决:现代组织机构虽然数据多,但是互相之间数据不共享,比如不同的视频网站都会收集各自用户的数据,各自持有分别的数据库,用于各自的推荐系统模型训练。即便这些不同机构的数据全部加在一起形成一个大数据库后训练的模型有更好的表现,但受制于隐私、安全等问题,他们不可以这样做;实际上 2018 年 5 月欧盟提出的 GDPR 也对用户隐私保护作出了明确的要求。而且,由于不同机构的模型设计和针对的目标有所不同,他们也无法直接交换、共享模型。

面向实际问题的解决方案需要考虑加密和安全性、以及考虑只有部分信息时如何处理,这三篇带着对安全和隐私的考虑进行研究的联邦学习论文正展现了这一点。让数据带来更高效用、让不同机构的数据不再是「数据孤岛」,联邦学习能带来明显的帮助,相关技术也值得继续深入挖掘。

在强化学习领域中,当状态的特征空间很小、训练数据有限时,构建高质量的策略是很有挑战性的。由于数据和模型的隐私限制,直接从一个智能体迁移数据或者知识到另一个智能体是不行的。具体来说,作者们假设智能体不会分享它自己的部分观察结果,而且也有一些智能体无法获得反馈;这样的设定就和多智能体强化学习、以及多智能体环境下的迁移学习都有明显的区别。

联邦迁移学习(FTL)针对的是有标签学习(监督学习)任务,利用一整个数据联邦内的数据资源,提高每个成员的模型的表现。通过联邦迁移学习框架,联邦内不同的成员之间可以在严守数据隐私的前提下共同挖掘数据的价值,而且可以在网络内转移补充性的数据。这样,通过利用整个数据联邦的大量有标签数据,联邦内的每个成员都可以构建出更灵活、更强大的模型;只需要对模型做微小的调整就可以看到准确率的明显提升,甚至可以比拟完全不考虑隐私、直接在全部数据上训练的表现。

从迁移学习到联邦学习

其中,吴某是“三朵金花”网络赌博平台的设计、研发者。2008年10月,吴某以12万元的价格将该平台销售给郭某、李某,每月收取2.38万元的系统维护费。

接到报案后,汝南县公安局立即立案侦查,并成立了由主要领导任组长的专案组,抽调精兵强将开展侦破工作。

最终,广东队以93比78有惊无险地取得八连胜,并送给对手本赛季首个主场失利。下半场,北京队总共得到28分,而广东队则利用对手的失误,打起自己熟悉的快速反击,两节共得45分。广东队有四人得分上双,北京队只有两名外援得分上双;广东队有14次抢断,迫使对手出现18次失误——广东队以对手擅长的方式击败了对手。

作者们从理论上证明了 SecureBoost 安全树模型框架和其它的把数据合并成一整数据集的传统(非联邦)梯度提升树方法有相同的准确率,是无损(lossless)的。由于 SecureBoost 安全树模型框架由保护隐私的实体对齐以及安全的联邦提升树系统两部分构成,作者们也分别研究了两者的可拓展性。除此之外,作者们还证明了方法的安全性,并且讨论了如何让使用到的协议完全安全。

昨晚本应是一场“矛盾之争”,到底是广东队的“矛”更利,还是北京队的盾更坚?然而,比赛的进程出乎人们的意料之外。

目前 FTL 和 Secureboost 已经开源,开源项目属于微众银行 AI 团队的联盟 AI 解决方案项目 FATE(Federated AI Technology Enabler)。这是一个为联邦 AI 生态及应用提供支持的开源库,可以部署在单机或者计算机集群上,提供了基于同态加密的安全计算协议、多种联邦学习架构,以及支持包括逻辑回归、树算法、深度学习、迁移学习等在内的多种机器学习算法的安全计算。具体介绍以及解决方案示例可以参见 https://www.fedai.org/。

联邦强化学习以三个步骤运行。首先,每个智能体都有一个 Q 网络,而且这个 Q 网络的输出是通过高斯差分方法加密保护的,每个智能体也都会收集其他智能体的 Q 网络输出;然后,智能体会构建一个神经网络,比如多层感知机模型,根据收集的其它智能体的输出和自己的 Q 网络输出计算全局的 Q 网络输出;最后,它会基于全局 Q 网络的输出同时更新刚才的多层感知机模型和自己的 Q 网络。值得注意的是,多层感知机模型是在所有智能体之间共享的,而智能体自己的 Q 网络对其他智能体都是不可见的,而且也是无法通过训练过程中共享的那个 Q 网络的加密输出进行推断的。

广东队的纠错能力极高,第三节就在防守上大做文章。对林书豪坚决贴身领防,高位则换人防,不让他有轻易出手的机会;如果“林疯狂”突破,则防守球员紧紧贴在身旁,辅以内线球员的协防、包夹,使其体能迅速下降;对汉密尔顿则绕前防守,尽可能不让他接球,避免他第二节屡屡“吃饼”得分;对北京队其他球员则人盯人跟防,许突不许投……这一系列战术实施后,北京队的进攻毫无章法,而有能力持球得分的球员又不多。第三节广东队打出一波22比14,并带着6分的领先优势进入最后一节。在单外援的最后一节,北京队更被防得非常狼狈,失误数直线上升。

Author: jeanlanoix.com