1965 年，时任仙童半导体公司工程师，也是后来英特尔的创始人之一的戈登 · 摩尔（Gordon Moore）提出了摩尔定律（Moore's law），预测集成电路上可以容纳的晶体管数目大约每经过 24 个月便会增加一倍。
后来广为人知的每 18 个月芯片性能将提高一倍的说法是由英特尔 CEO 大卫 · 豪斯（David House）提出。过去的半个多世纪，半导体行业按照摩尔定律发展，并驱动了一系列的科技创新。
有意思的是，在摩尔定律放缓的当下，以全球另一大芯片公司英伟达（NVIDIA）创始黄仁勋（Jensen Huang）名字命名的定律 “黄氏定律 (Huang’s Law)”对 AI 性能的提升作出预测，预测 GPU 将推动 AI 性能实现逐年翻倍。
英伟达 GPU 助推 AI 推理性能每年提升一倍以上
英特尔提出了摩尔定律，也是过去几十年最成功的芯片公司之一。英伟达作为当下最炙手可热的 AI 芯片公司之一，提出黄氏定律是否也意味着其将引领未来几十年芯片行业的发展？
AI 性能将逐年翻倍受疫情影响，一年一度展示英伟达最新技术、产品和中国合作伙伴成果的 GTC China 改为线上举行，黄仁勋缺席今年的主题演讲，由英伟达首席科学家兼研究院副总裁 Bill Dally 进行分享。Bill Dally 是全球著名的计算机科学家，拥有 120 多项专利，在 2009 年加入英伟达之前，曾任斯坦福大学计算机科学系主任。加入英伟达之后，Dally 曾负责英伟达在 AI、光线追踪和高速互连领域的相关研究。
英伟达首席科学家兼研究院副总裁 Bill Dally
在今天 GTC China 2020 演讲中，Dally 称：“如果我们真想提高计算机性能，黄氏定律就是一项重要指标，且在可预见的未来都将一直适用。”
Dally 用三个项目说明黄氏定律将如何得以实现。首先是为了实现超高能效加速器的 MAGNet 工具。英伟达称，MAGNet 生成的 AI 推理加速器在模拟测试中，能够达到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一个数量级。
之所以能够实现数量级的性能提升，主要是因为 MAGNet 采用了一系列新技术来协调并控制通过设备的信息流，最大限度地减少数据传输。数据搬运是 AI 芯片最耗能的环节已经是当今业界的共识，这一研究模型以模组化实现能够实现灵活扩展。
Dally 带领的 200 人的研究团队的另一个研究项目目标是以更快速的光链路取代现有系统内的电气链路。Dally 说：“我们可以将连接 GPU 的 NVLink 速度提高一倍，也许还会再翻番，但电信号最终会消耗殆尽。”
