Chip10 Science | 可重构数字存算一体AI芯片

FUTURE远见| 2024-04-08

Future|远见

Future|远见future选编

工作简介

随着人工智能(Artificial Intelligence, AI)技术的发展,模型规模不断增加,带来巨大的算力和存储需求。大量频繁的访存使AI芯片的能效严重受限于冯诺依曼瓶颈问题。存算一体(Compute-In-Memory,CIM)架构可直接在存储器内完成计算,消除了计算和存储间的频繁访问,被认为是一种能够突破冯诺依曼瓶颈的高能效AI计算架构。然而,目前大多数存算一体AI芯片是基于模拟计算架构设计的。它们的模拟计算误差限制了计算精度,固定的存算通路限制了功能灵活性。这使得模拟存算一体架构只适合计算精度要求不高、功能灵活性要求不高、更注重低功耗的边缘端AI场景,而不适合对算力、能效、精度和灵活性同时具有很高要求的云端AI场景。随着高精度大规模AI模型不断涌现,在数据中心等云端AI场景进行训练和推理的算力需求日益增长。因此云端AI芯片的研究极具前景,亟需革新的AI芯片计算范式。

清华大学尹首一教授、魏少军教授及香港科技大学涂锋斌教授团队提出可兼顾能效、精度和灵活性的AI芯片新范式——可重构数字存算一体架构,设计出国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM(Reconfigurable Digital CIM)。该芯片首次在存算一体架构上支持高精度浮点与整数计算,可满足数据中心级的云端AI推理和训练等各种应用智能场景需求。为了克服在结构规整的存算一体架构上实现不规则的浮点计算的技术挑战,本工作把浮点指数对齐操作在存算单元外部完成,在存算单元内部设计层次化可重构存内累加结构。该架构范式解决了高精度与高能效难以兼顾的难题,为突破人工智能芯片的「存储墙」瓶颈奠定了技术基础。

可重构数字存算一体AI芯片ReDCIM的显微照片、核心技术、与同期研究对比。

本工作的会议版本于2022年2月发表在被誉为「集成电路奥林匹克」的IEEE International Solid- State Circuits Conference(ISSCC)上,被选为亮点论文后于2023年1月受邀发表在集成电路领域顶级期刊JSSC相比同期NVIDIA A100 GPU能效提升37.4倍,相比同期浮点存算一体芯片能效提升20.4倍。此外,本工作还被评为2023年度中国半导体十大研究进展,并入选了2023年中关村论坛国际技术交易大会《百项新技术新产品榜单》。

论文链接:

https://ieeexplore.ieee.org/document/9968289

通讯作者简介

尹首一,博士,清华大学长聘教授,集成电路学院副院长。国家杰出青年科学基金获得者。研究方向为可重构计算、人工智能芯片、低功耗设计。在IEEE JSSC、TCAS-I/II、TPDS、TCSVT、TVLSIISSCC、VLSI、DAC、ISCA、MICRO、HPCA等集成电路和体系结构领域权威期刊和学术会议发表论文200余篇。曾获国家技术发明二等奖、中国电子学会技术发明一等奖、中国发明专利金奖、教育部技术发明一等奖。现任MICRO和ASSCC技术委员会委员,ACM TRETS、Integration: the VLSI journal 和中国科学:信息科学编委。

第一作者简介

涂锋斌,博士,香港科技大学电子与计算机工程系助理教授。涂博士于2019年在清华大学微纳电子系获得博士学位,同年获北京市优秀毕业生及清华大学优秀博士学位论文奖。他于2019~2022年在加州大学圣塔芭芭拉分校SEAL Lab担任博士后研究员,2022~2023年在香港智能晶片与系统研发中心(ACCESS)担任博士后研究员。他的研究方向包括AI芯片设计、计算机体系结构、可重构计算、存内计算。他设计的AI芯片Thinker和ReDCIM分别荣获2017年国际低功耗电子与设计会议ISLPED设计竞赛奖和2023年度中国半导体十大研究进展。已出版《神经网络加速器的计算架构及存储优化技术研究》、《人工智能芯片设计》专著2部。已发表50余篇学术论文,包括ISSCC、JSSC、DAC、ISCA、MICRO等集成电路和体系结构领域权威期刊和学术会议。

关于Chip

Chip(ISSN:2772-2724,CN:31-2189/O4)是全球唯一聚焦芯片类研究的综合性国际期刊,已入选由中国科协、教育部、科技部、中科院等单位联合实施的「中国科技期刊卓越行动计划高起点新刊项目」,为科技部鼓励发表「三类高质量论文」期刊之一。

Chip期刊由上海交通大学出版,联合Elsevier集团全球发行,并与多家国内外知名学术组织展开合作,为学术会议提供高质量交流平台。

Chip秉承创刊理念: All About Chip,聚焦芯片,兼容并包,旨在发表与芯片相关的各科研领域尖端突破性成果,助力未来芯片科技发展。迄今为止,Chip已在其编委会汇集了来自14个国家的69名世界知名专家学者,其中包括多名中外院士及IEEE、ACM、Optica等知名国际学会终身会士(Fellow)。

Chip第三卷第一期已于2024年3月在爱思维尔Chip官网以金色开放获取形式(Gold Open Access)发布,欢迎访问阅读本期最新文章。

爱思唯尔Chip官网:

https://www.sciencedirect.com/journal/chip