浙江大学团队最新片上学习系统Nature Communications(浙江大学nature封面)

浙江大学团队最新片上学习系统Nature Communications(浙江大学nature封面)

浙江大学团队最新片上学习系统Nature Communications(浙江大学nature封面)

第一作者和单位:陈鹏,浙江大学

通讯作者和单位:潘纲 教授,浙江大学;林芃 研究员,浙江大学

原文链接:https://doi.org/10.1038/s41467-023-41958-4

关键词

电化学随机存储器;人工神经网络;片上学习

招生招聘

该论文主要介绍了浙江大学潘纲-林芃团队针对传统忆阻器件受限于自身阻变机制,无法高效准确完成多阻态更新的难题,设计了一种更加适合神经网络训练任务的电化学存储器件(ECRAM),突破了忆阻器等存算一体器件无法直接实现高精度权重更新的固有瓶颈。该团队进一步利用该器件的优异特性,设计和制造了无源人工突触阵列,构建了可用于片上学习任务的人工突触系统。在该系统中,模拟器件的权值更新任务可以通过脉宽调制的单个脉冲来实现,极大地简化了传统模拟器件的权值更新过程,高效且准确地实现了连续的图案写入、双层神经网络在线训练等任务。

背景介绍

人工神经网络是当前机器智能发展的主要动力,其依赖于在软件层面模拟生物神经网络中的突触神经元等基本功能单元及其连接结构,从而塑造其对特定任务的学习和推理能力。这样的智能算法实现过程伴随着巨大的成本,而通过采用模拟器件来表示神经网络中突触等基本单元,有望实现在速度和能效方面更有优势的AI硬件。这样的模拟器件需要满足的要求包括在较大动态范围内大量模拟状态(电导)的快速且准确地切换、较长的模拟状态保持时间等,并且需要可靠的大规模阵列芯片制备手段支撑。然而在实际应用中,新型存储器件如忆阻器等受限于自身复杂且随机的阻变过程,其电导调制通常具有噪声大、高度非线性等特点,导致其需要一个漫长的读写迭代过程来实现可接受的电导调制精度,极大地限制了其在神经网络训练等需要高频次器件更新的任务上的使用。本文报道了一种高精度、开环(open-loop)可编程的ECRAM阵列,通过脉冲宽度调制的单个电压脉冲来实现器件的高效、准确阻态更新,并从实验上验证了其在图像存储、并行计算和片上学习等方面的应用潜力。

图文导读

通过相同电压脉冲实现ECRAM电导线性且对称的调制,是实现其高精度开环编程的器件基础,其微观机制通常需要满足两个基本条件:沟道氧化物的电导率和其内部的氧空位浓度具有准线性的关系,同时氧空位在沟道/电解质界面处的移动是稳定且可逆的。因此,本文首先整体设计并优化了沟道层和电解质层的材料和工艺,实现了接近理想的ECRAM阻变性能(如图1所示),包括线性、对称性、均一性等。

浙江大学团队最新片上学习系统Nature Communications(浙江大学nature封面)

图1. 高性能ECRAM器件。a) 在多个电导区间的线性、对称电导更新,b) 器件均一性,c) 沟道线性I-V特性,d) 阻态保持性,e-g) 高精度并行模拟计算。

在此基础上,该论文设计了一种开环器件更新算法(如图2所示),通过单个宽度调制的电压脉冲来实现器件多阻态间的高效准确更新,相较于传统的需要多个读写迭代周期的更新方式(write-and-verify)具有显著的效率优势。

浙江大学团队最新片上学习系统Nature Communications(浙江大学nature封面)

图2. a) ECRAM阵列的光学图片,b) ECRAM器件的TEM截面图,c) ECRAM电导调制特性,d) 开环(open-loop)和闭环(closed-loop)调控方法对比。

基于上述ECRAM阵列和器件电导更新方法,该论文先后在实验上验证了其在图案写入、双层神经网络在线训练等方面的应用潜力。研究人员采用ECRAM器件作为基本突触单元,构建了一个10×10的无源阵列,该阵列能够通过上述器件编程方法完成高精度的连续梯度图案写入(图3)。进一步地,研究人员在实验上构建了两层神经网络,其中的矩阵运算和更新都在ECRAM阵列中原位完成,在蘑菇食用毒性检测任务中实现了和软件同样的分类准确度(图4)。最后,该论文还模拟验证了ECRAM阵列在大规模神经网络中的应用潜力。

浙江大学团队最新片上学习系统Nature Communications(浙江大学nature封面)

图3. a-c) 在ECRAM阵列中通过开环更新方法实现连续梯度图案写入。

图4. a-d)通过ECRAM阵列构建的人工神经网络片上学习系统,并通过蘑菇食用毒性数据集验证了其片上学习能力。e-g) 神经网络训练中ECRAM阵列的权值演化过程。

总结与致谢

该工作通过构建ECRAM阵列和open-loop器件更新算法,验证了其在片上学习等方面的应用价值,为未来发展高能效AI技术提供了新的工作思路。相关研究工作得到了科技创新2030重大项目、国家自然科学基金、浙江省重点研发计划、浙江省自然科学基金重大项目以及中央高校基本科研业务费的资助。

文章链接

Chen, P., Liu, F., Lin, P., Li, P., Xiao, Y., Zhang, B., Pan, G., Open-loop analog programmable electrochemical memory array. Nat Commun 14, 6184 (2023). https://doi.org/10.1038/s41467-023-41958-4

科研留声机

科研留声机是“天玑算·科研服务”旗下公益性的学术分享平台之一。主要发布与科研相关的知识信息,包括顶刊解读、学术干货、求职招聘等。观看免费计算类课程可到天玑算学术网:www.phadwiki.com/

130篇原创内容

公众号

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年11月19日 上午10:01
下一篇 2023年11月19日 上午10:17

相关推荐