以 30 岁的年纪重读博士,李昂比组里的其他同学都要大上不少,而让他焦虑的还不只是年龄。
读第一个博士的时候,李昂的主要研究方向是和移动计算相关的隐私保护和安全问题。
在陈老师主要做的 AI 相关研究上,李昂觉得自己这方面知识积累不够充分,对 AI 领域的发展也不是很熟悉。
那时候他心里很着急,总在想怎么能快速寻找到一个突破点,尽快展开研究来追赶上这个差距。
出于这样的心态,李昂天天跑到导师陈怡然的办公室里去,跟他讲文章的思路。
陈怡然却劝他不要着急发文章,要从研究方法学起,寻找问题、发现问题、解决问题以及最后怎么用论文的形式把成果展现出来。
这种对完整科研体系的训练,正是李昂在之前的学习和研究经历中所缺乏的。
后来,李昂在杜克大学的研究工作逐步走入正轨。
最开始的时候,他的论文常被拒稿。
李昂一方面陷入了对自己能力的怀疑,另一方面对审稿人也产生了负面情绪。
陈怡然就用自己的科研经验去开导他:
如果你一直用抵触的情绪去看待审稿人给你提的客观建议的话,对你研究的提升没有任何帮助。
从 2019 年的一篇投往 Infocomm 被拒稿的论文开始,李昂的心态慢慢发生转变。
他尝试站在审稿人的立场上去思考,究竟是自己的研究欠缺?还是论文的展现方式上有不足?
按着这个思路,最终李昂和团队对文章进行了大改,又补充了非常多的实验数据。
修改后再次投往 MobiHoc 2020 会议,就比较顺利的被接受了。
这也是李昂以一作身份在国际学术会议上发表的第 1 篇论文。
随后李昂对自己越来越自信,走上了“科研快车道”。
从 2020 年 4 月开始,他的论文连续被 MobiHoc,KDD,IoTDI,MobiCom,SEC,SenSys 收录,并获得 KDD 2020 最佳学生论文和 SEC2019 最佳海报奖。
李昂却说所谓快车道只是外界从产出角度看到的结果,背后是一个长期积累,量变到质变的过程。
他在二次读博期间积累了大量领域相关的理论知识,阅读了大量文献。
除了一直持续关注学术会议和期刊上的论文,还一直关注工业界发展的趋势。
在银行的工作经历让他能够积极主动和前辈和同学进行交流。
当然也离不开陈怡然老师的指导,对他采购各种实验设备的支持,以及对他参与国际学术交流的鼓励。
最关注隐私计算
说了这么多,你是否好奇李昂到底研究的什么领域,能受到众多学术会议的青睐。
拿这篇刚刚被 SenSys 收录的文章来说,就提出了一种新的联邦学习框架。
△图源:截自李昂朋友圈
这一框架能降低 97% 的通信成本,提高模型训练和推断效率,还能解决联邦学习训练过程中的数据一致性问题。
具体分为以下三个方面:
在联邦学习的训练过程中传递二值掩码(而非本地模型的参数)
利用客户端本地的数据学习二值掩码,通过嵌入本地数据的个性化信息解决数据一致性问题
对本地模型的参数进行冻结,并加入一些结构稀疏化的约束
而论文的主题联邦学习,正是李昂博士所研究的主要方向之一。
他表示,自己整体的研究方向该是比较偏应用的系统,但具体研究内容还是和理论密不可分。
比如差分隐私技术,就需要非常扎实的统计学理论知识作为基础。
联邦学习目前所面临的挑战:通信成本、数据一致性、计算能力或性能的不足,正是他现阶段主要研究的问题。