数据是人工智能运转的“石油”。
AI发展至今,能否获得高质量、大批量的数据已成为制约人工智能进一步发展的重要因素,因此、数据共享、融合的需求越来越强烈。
但是——
在许多情况下,打破数据源之间的壁垒非常困难。举个栗子,很多时候,产品销售者拥有产品信息、用户购买数据,但没有描述用户购买能力和支付习惯的数据,因为无法进行整合和综合分析。
在大多数行业中,数据以孤岛的形式存在。
尤其是近年来随着隐私保护及数据安全法律法规的逐渐完善,数据孤岛问题变得日益严峻。
在这个背景下,联邦学习应运而生。其本质是一种为了解决数据孤岛问题而提出的机器学习模式与算法。
联邦学习是一种特殊的分布式学习。虽然分布式学习已经被研究十几年,但是联邦学习却是一个相对来讲崭新的领域。
从2016年联邦学习(Federated Learning)这一概念被初次提出,几年来可谓发展迅速,作为一个从实际应用激发而出的研究,越来越多的公司和企业加入到联邦学习的实践应用中:国外如Google、Facebook、国内如腾讯、百度、京东等纷纷入局。
经典的FedAvg首次由Google在2017年提出。
核心思路就是:
隐私的数据不上传至云端,将模型下载到每个数据中心训练后上传到云端进行aggregate,重复上述步骤直到模型收敛。保护了分布数据数据隐私性;同时避免了数据的传输,转而使用相对规模更小的模型的传输,节约了计算的通讯开销。
之后随之不断发展,联邦学习在多种行业、应用场景都可见其身影。如政务开发、医疗、金融、数字广告、物流等行业。
中国信通院 - 联邦学习场景应用研究报告(2022 年)

但是近几年,关于联邦学习的各种限制和质疑也相继出现。很多研究者甚至会有这样的疑问:联邦学习是伪需求吗?
当传统联邦学习面临异构性挑战,不妨试试个性化联邦学习。
扫码免费听亚马逊Applied Scientist
讲解个性化联邦学习
免费获取最新论文合集(含代码)
联邦学习基础知识和联邦学习的局限性,个性化联邦学习深入讲解;
个性化联邦学习的三类算法设计思路;
个性化联邦学习的应用场景。

个性化联邦学习的必要性:
最初的联邦学习的设计中,模型更新以及最终的模型都可能导致数据泄露进而危及客户隐私。因此,为了应对数据的Non-IID分布带来的挑战,一种有效的方法是在设备、数据和模型上进行个性化处理。以减轻异构性并为每个设备获得高质量的个性化模型,即个性化联邦学习。
大多数个性化技术可以分为两步:
第一步,以协作的方式构建一个全局模型。
第二步,使用客户端的私有数据为每个客户端进行全局模型的个性化处理。
综合来说,全局模型个性化有以下几种常见的实现方法:
一、增加用户上下文;
二、联邦迁移学习;
三、联邦多任务学习;
四、联邦元学习;
五、联邦知识蒸馏;
六、Base+Personalization Layers;
七、混合全局模型和局部模型。
8月15日晚19:30,本期公开课,沃恩智慧特邀请计算机视觉、联邦学习领域专家、期刊审稿人paul老师,围绕【AI个性化联邦学习的发展和应用】进行免费直播。邀请对联邦学习、个性化联邦学习感兴趣、想要深入了解的你前来一起探讨个性化联邦学习的发展和落地实践。
扫码免费听亚马逊Applied Scientist
讲解个性化联邦学习
免费获取最新论文合集(含代码)
除了落地应用,科研er最关心的就是:好发论文吗?
作为有多篇顶会论文在手的领域大牛,Paul老师表示:联邦学习作为机器学习中的热门之一,只要只要有研究成果,就很好发论文,每年CVPR都稳定会有几篇相关的论文。所以各位科研er只要在这个方向做得好,冲顶会的几率很大!
一般来讲,在联邦学习以下这几个方向只要有研究结果,基本上都能够发顶会。
一、降低算法通信次数,用少量的通信达到收敛。数据是IID的,已经被研究比较透彻了。联邦学习的困难在于数据不是IID的。
二、研究联邦学习中的隐私问题。联邦学习其实不会保护隐私,很容易从梯度、模型参数中反推出用户数据。提出攻击和防御的方法都可以发表出论文。
三、研究联邦学习的鲁棒性。比如有节点恶意发送错误的梯度给服务器,让训练的模型变差。设计新的攻击方法和防御方法都可以发表出来论文。
直播课中,老师也将结合个性化联邦学习最新的落地应用场景,讲解联邦学习热门研究方向,帮助大家获取idea!
这次课程强烈建议
对AI感兴趣或者已有一定基础并想用AI解决实际问题的学生以及想要发顶会论文的学生来听。添加老师还可免费领取最新论文合集(含代码)
