首页 > 科技 > KDD线上分享|从自私和理性原则的视角,看联邦学习下的合作均衡理论

KDD线上分享|从自私和理性原则的视角,看联邦学习下的合作均衡理论

联邦学习(federated learning,FL)是指在保护数据隐私的前提下实现分布式多数据源模型训练的学习范式。由于各个数据源的统计异质性在现实场景下广泛存在,同时统计异质性也给联邦学习下合作式的模型学习带来了负面影响,甚至会损害模型性能。

因而,这也带来了一个基本问题:一个机构(client)加入合作网络能否获得增益,即参与合作是否意味着自身模型性能的提升。

事实上,一个机构并非总是与所有机构合作才能带来自身性能的最大化。清华大学三年级博士生崔森等人建立了联邦学习下的合作均衡理论,其中各个机构只与对其有利的机构合作,最大程度上避免负迁移的影响,从而实现自身模型性能的最大化。具体地,提出通过两个公理刻画合作均衡:自私原则:没有利益,就没有合作;理性原则:各个机构致力于最大化自身模型性能。他们还提出了增益图(benefit graph)的概念,描述了每个机构的最优合作者,并提出了一种基于帕累托优化的方法确定最优合作者。最后在理论上证明了合作均衡的存在性,并提出了一种基于图论的方法,实现 O(V+E) 时间复杂度下的合作均衡。

2022 年 8 月 10 日,机器之心最新一期线上分享邀请到了崔森,为大家详细解读联邦学习下的合作均衡。

分享主题:联邦学习下的合作均衡

分享嘉宾:崔森,本科毕业于清华大学钱学森力学班,目前为清华大学信息学院博士三年级学生,师从清华大学张长水教授。主要研究方向为可信赖机器学习,包括算法公平性,鲁棒性,可解释性,和隐私保护等。他曾以第一作者身份在 SIGKDD、 NeurIPS 等机器学习会议上发表多篇论文,并担任 ICML、NeurIPS 等机器学习会议审稿人。

个人主页 https://cuis15.github.io, 非常期待与机器学习领域的学者经常交流探讨。

分享摘要由于公众对数据隐私的关切,合作式的联邦学习在当前受到机器学习领域学者的广泛关注。合作总会伴随着代价,却并不总是带来利益。从合作与博弈的角度出发,我们提出合作均衡的概念,并给出一个基于图论的合作均衡的实现框架。

相关论文:https://arxiv.org/pdf/2108.07926.pdf

分享时间2022 年 8 月 10 日 19:00-20:00

直播间:关注机动组视频号,北京时间2月24日开播。

交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。

点击阅读原文,访问机动组官网,观看往期回顾;

关注机动组服务号,获取每周直播预告。

本文来自网络,不代表趣头条立场,转载请注明出处:https://www.ngnnn.com/article/4_78157.html
上一篇百度账号测试支持修改用户名,一年可修改一次
下一篇光粒AR智能泳镜 Holoswim 2开启海外众筹

为您推荐

盖茨盛赞ChatGPT:人工智能历史意义不亚于“PC或互联网诞生”

盖茨盛赞ChatGPT:人工智能历史意义不亚于“PC或互联网诞生”

腾讯科技讯 2月3日消息,微软联合创始人比尔·盖茨表示,像ChatGPT这样的AI聊天机器人将变得与个人电脑或互联网同样重要。盖茨今日接受采访时表示:“AI将成为2023年最热门的话题。这是不可避免的。”他随后补充道:“ChatGPT将变得与个人电脑、互联网同样重要。”盖茨在20世纪80年代帮助开创了个人电脑时代。在微软和苹果等
专访墨奇科技CEO邰骋:人工智能需要新的AI数据基础设施

专访墨奇科技CEO邰骋:人工智能需要新的AI数据基础设施

“人工智能要发展到下一代,必然需要基础理论和基础设施的革新,特别是需要新的 AI 数据基础设施。”9月2日,新京报贝壳财经记者获悉,在近日举办的HICOOL2022全球创业者峰会上,AI(人工智能)基础技术和平台墨奇科技的项目团队获得“HICOOL 2022 全球创业大赛一等奖”。墨奇科技联合创始人、CEO 邰骋接受了新京报贝壳财
人工智能大会将举办智慧体育高峰论坛,发布AI+体育蓝皮书

人工智能大会将举办智慧体育高峰论坛,发布AI+体育蓝皮书

2022年世界人工智能大会智慧体育高峰论坛将于9月2日开幕。  主办方供图AI+体育,将成为世界人工智能大会的全新命题和新亮点。2022年世界人工智能大会智慧体育高峰论坛将于9月2日开幕。论坛上将发布由上海人工智能研究院牵头,联合上海交通大学、上海体育学院、首都体育学院、同济大学等单位编制的国内首本《“AI+体育”蓝
大脑还有多少秘密?世界人工智能大会首开脑机接口主题论坛

大脑还有多少秘密?世界人工智能大会首开脑机接口主题论坛

在2022世界人工智能大会上,天桥脑科学研究院(简称TCCI)转化中心联合中国科学院上海微系统与信息技术研究所、脑虎科技、中国神经科学学会、上海市神经科学学会共同举办“脑·机智能融合-让大脑连接未来”论坛,这也是脑机接口首次以主题论坛的形式登陆世界人工智能大会。英国皇家工程院院士、上海交大医疗机器人研究院院
我国人工智能学科主要奠基人涂序彦逝世,享年 88 岁

我国人工智能学科主要奠基人涂序彦逝世,享年 88 岁

IT之家 3 月 28 日消息,据北京科技大学消息,我国人工智能领域著名科学家、人工智能学科的主要奠基人、中国人工智能学会的主要创始人之一、第二和第三届中国人工智能学会理事长、北京科技大学计算机与通信工程学院教授涂序彦先生,因病医治无效,于 2023 年 1 月 1 日 0 时 10 分在北京逝世,享年 88 岁。IT之家附讣告原文
梁建章:人工智能如何影响经济和各行各业

梁建章:人工智能如何影响经济和各行各业

近日人工智能再次成为了热门话题。很多人好奇的是,人工智能未来到底会如何影响经济、人口和创新?今天,我跟大家分享个人的一些看法——谈谈人工智能对于经济以及各行各业的影响。自从深度神经网络出现以来,人工智能的发展速度超乎想象。ChatGPT的出现是个奇迹,超出了几乎所有计算机科学家的预料。一个简单的神经网络模
AI炒股新纪元?头部量化私募幻方宣布全力探索人工智能应用

AI炒股新纪元?头部量化私募幻方宣布全力探索人工智能应用

头部量化私募幻方宣布成立新的独立的研究组织,探索AGI(即通用人工智能,Artificial General Intelligence)的本质。4月14日,幻方发布公告显示,幻方将集中资源和力量,全力投身到服务于全人类共同利益的人工智能之中,成立新的独立的研究组织,探索AGI的本质,“我们将充分而持续地投入,不做中庸的事,用最长期的眼光去
卷完模型卷芯片!为提升效率,微软准备推出专属人工智能芯片

卷完模型卷芯片!为提升效率,微软准备推出专属人工智能芯片

在早期成功押注ChatGPT的研发公司OpenAI之后,市场发现,微软在其武器库中还拥有另一个秘密武器:自研人工智能芯片,这一芯片将为生成式AI背后的大型语言模型提供强大动力。4月18日周二,据媒体援引两位知情人士的话说,微软早在2019年就开始开发内部代号为Athena的AI芯片。其中一位知情人士称,一些微软和OpenAI的员工已经
真正的应用级量子人工智能距离我们还有多远?

真正的应用级量子人工智能距离我们还有多远?

·“量子科技是强国竞争的战略制高点,但不能一哄而上,低水平重复内卷,或片面追求发论文、抢专利,各自为战,闭门造车,而缺少真正的技术投入和系统配合。”·“当下量子系统的规模非常重要,而这很大程度上取决于芯片。”当前,发展量子计算和人工智能已成为世界各国的重要战略,两者交汇而生的量子人工智能更是发展迅速
返回顶部