社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

香港大学李燦助理教授课题组Nat. Commun.:利用具有固有软边界的MoS₂闪存模拟内容寻址存储器实现可信树形机器学习

低维 昂维 • 3 月前 • 438 次点击  
点击蓝字
 
关注我们
为了方便各位同学交流学习,解决讨论问题,我们建立了一些微信群,作为互助交流的平台。
加微信交流群方式:
1.添加编辑微信:13162018291;
2.告知:姓名-课题组-研究方向,由编辑审核后邀请至对应交流群(生长,物性,器件);
欢迎投稿欢迎课题组投递中文宣传稿,免费宣传成果,发布招聘广告,具体联系人:13162018291(微信同号)

成果介绍

随着人工智能(Artificial Intelligence, AI)的快速发展,其可信性(Trustworthiness)问题日益受到关注,其中尤以决策可解释性(Interpretability)和模型鲁棒性(Robustness)最为关键。决策树(Decision Tree, DT)、随机森林(Random Forest, RF)和 XGBoost 等树形模型(Tree-based models)能够通过人类可读的决策规则提供天然可解释性,并在表格数据(Tabular data)任务中展现出优异性能。然而,树形模型的大规模部署仍受到传统数字硬件的限制:不规则存储访问模式会造成较差的数据局部性(Data locality),而逐节点遍历带来的顺序决策依赖会导致较高的数据依赖性(Data dependence),从而增加计算开销并削弱并行化效率。

近年来,内容寻址存储器(Content-Addressable Memory, CAM)被用于加速树形模型推理。与传统基于 SRAM 的 CAM 相比,模拟内容寻址存储器(Analog CAM)可将数据存储为可编程电导或阈值电压中的连续匹配范围,并以模拟输入作为搜索值,从而更适合树形模型中阈值比较操作的并行实现。然而,现有模拟 CAM 单元普遍具有渐变而非阶跃式的搜索边界,这种“软”匹配边界难以直接实现传统硬树模型所需的锐利决策边界。同时,硬决策树对决策边界附近的微小扰动高度敏感,器件阈值电压漂移、电导漂移和读出波动等非理想因素均可能导致错误路径选择,并进一步放大模型面对对抗攻击(Adversarial attacks)时的脆弱性。

有鉴于此,香港大学(The University of Hong Kong)李燦 助理教授课题组提出了一种基于具有固有软边界的  闪存模拟内容寻址存储器实现可信树形机器学习的硬件-软件协同设计方法。该工作不再试图强行锐化模拟 CAM 的软搜索边界,而是将其重新定义为一种可利用的硬件特性,用以自然实现软决策树(Soft Decision Tree, SDT)中的类 Sigmoid 概率计算。具体而言,模拟 CAM 中每个单元根据输入特征与存储阈值范围计算节点概率,同一行内多个单元共同给出根到叶路径的概率,从而在存储模型的模拟域中并行完成概率推理。

本文制备了基于二维  电荷俘获闪存(Charge-trapping Flash)的  模拟 CAM 阵列。二维  沟道具有高开态电流、高开关比和低漏端电容等优势,有利于提升 CAM 搜索/放电操作的速度和能效。实验结果表明,该阵列在威斯康星乳腺癌诊断(Wisconsin Diagnostic Breast Cancer, WDBC)数据集上实现了约  的分类准确率,并在 Iris 数据集上实现了  的分类准确率。基于实验校准模型的仿真进一步显示,在  器件阈值电压波动下,MNIST 数据集上 SDT 的准确率仅下降 ,而传统 DT 的准确率下降达 。此外,模拟 CAM 架构将 SDT 推理延迟由常规数字硬件上的  降至 ,相较 GPU/CPU 方案实现了  至  倍的推理加速,并将能耗降低了  至  个数量级。

图文导读

图 1:具有软边界的模拟 CAM 中的软决策树模型。(a) 传统硬决策树(Decision Tree, DT)沿单一路径进行决策,节点处的决策边界锐利,因而对边界附近扰动非常敏感。(b) 软树模型基于所有路径的概率进行决策,内部节点的决策边界连续且平滑,对扰动具有更好的鲁棒性,但计算开销显著增加;图中较粗的绿色路径表示概率最高的路径。(c) 用于实现 SDT 的模拟 CAM 阵列抽象图,其中每一行对应一条从根到叶的路径,每个节点计算非线性类 Sigmoid 概率,而不是像传统 CAM 那样执行二值比较;每一行聚合沿路径各节点的概率,并以最高路径概率作为决策结果。(d) 采用紧凑 2-FET 结构的模拟 CAM 阵列电路示意图,匹配范围由两个阈值可调场效应晶体管(Field-Effect Transistor, FET)决定;模拟 CAM 单元的搜索边界是渐变的或“软”的,当单元未接通时,匹配线(Match Line, )上的输出本质上是输入电压的非线性类 Sigmoid 函数,表示该节点概率;当单元接通时, 上的最终电压来自该行所有节点概率的集体效应(如概率乘积), 电压最高的行即为最佳匹配,对应 SDT 中概率最高的叶节点。

图 2:基于二维  闪存的模拟 CAM 阵列及其操作。(a) 先进技术节点下,采用硅基沟道材料和二维沟道材料的闪存器件在 CAM 操作中的预测放电时间与能耗对比。(b) 二维  闪存器件的三维结构示意图。(c) 器件的截面扫描透射电子显微镜(Scanning Transmission Electron Microscopy, STEM)图像,显示了作为电荷俘获栅介质的  沟道材料以及用于欧姆接触的 ;通过传输线法(Transfer Length Method, TLM)提取的典型  接触电阻约为 。(d) 器件被编程到八个不同存储状态时的转移特性曲线,显示出超过  的高开关比。(e) 自研测量平台,包括带微控制器(Microcontroller Unit, MCU)的 PCB 测试板,可与控制计算机通信;测试板连接至探针卡。(f–h) 探针卡接触下的  模拟 CAM 阵列测试图。(i) 单个模拟 CAM 单元的瞬态  放电曲线,实验中数据线(Data Line, )输入电压在  V 至  V 之间扫描。(j)  ms 采样时的  电压随  输入变化的曲线,并用修正 Sigmoid 函数拟合以表示单元概率 ;同一行四个单元存储的阈值范围分别为“ V”“ V”“ V”和“ V”。(k) 实验测得的行输出概率  与拟合预测值的对比,结果显示二者高度一致(),对应低于  的拟合误差。

图 3:模拟 CAM 阵列中软决策树的乳腺癌诊断实验。(a) 乳腺肿块样本的显微图像,以及从威斯康星乳腺癌诊断数据库中提取的细胞特征(如纹理、面积、凹点数),用于良性/恶性诊断。(b) 软决策树(SDT)与硬决策树(DT)共享相同树结构,但采用概率 Sigmoid 节点,并在叶节点中编码路径概率;阈值由 DT 初始化,并通过梯度下降进行微调,分类时选择概率最高的叶节点。(c) 映射到二维模拟 CAM 阵列中的训练后 SDT;每个模拟 CAM 单元根据输入特征和存储范围计算类 Sigmoid 概率,路径概率由该路径上各节点概率的乘积得到;特征值被归一化至模拟 CAM 的工作范围,阈值被编程为 (d) 中相应电压。(d) 编程模拟 CAM 器件后的目标阈值电压(上)与实际读取阈值电压(下)对比;白色表示阈值电压足够高( V),用于实现“始终匹配”条件;阈值电压定义为漏极电流达到  nA 时的栅压,目标阈值与实际阈值之间的平均绝对误差(Mean Absolute Error,  )为  V。(e, f) 实验观察到的瞬态  放电曲线示例;深红色曲线对应恶性诊断决策路径,浅红色曲线表示良性诊断路径;(e) 为正确诊断示例,其中  (路径 5)放电最慢,因此具有最高概率;(f) 为错误诊断示例,其中  与  的放电速率相近,表明两条路径具有相近概率,可供人类专家进一步检查。

图 4:模拟 CAM 中软树模型对器件阈值电压波动和对抗攻击的鲁棒性分析。(a) WDBC 数据集中恶性与良性样本在平均凹点数(mean concave points)和最大面积(worst area)两个特征维度上的分布。(b) 恶性类别概率的决策曲面等值线和概率热图,未显示的特征被固定为平均值。(c) 良性类别概率的决策曲面等值线和概率热图。(d) 器件阈值电压波动下的模拟准确率( 置信区间, 次试验);SDT 表现出更强鲁棒性,并在前述真实器件实验中实现了  的硬件准确率。(e) 模型准确率随树深度增加而稳步提升;在树深为  时,SDT 在器件波动下的准确率仅损失 ,而 DT 的准确率下降达 。(f) 在 MNIST 数据集上,相同树深()条件下,DT、SDT、RF 和软随机森林(Soft Random Forest, SRF)在服从正态分布的器件阈值电压波动标准差  增大时的准确率仿真结果。(g) 四个表格数据集(#0 electricity、#1 bankmarketing、#2 default-of-credit-card-clients 和 #3 MiniBooNE)上的模型准确率仿真结果;柱内方框表示   V 器件阈值电压波动下的表现。(h) 根节点对抗攻击下的鲁棒性对比;SDT 的准确率仅下降 ,而 DT 下降 ,表明软边界设计能够显著提升对抗扰动下的稳定性。

图 5:可扩展架构与性能基准。(a) 具有  个子阵列的可扩展模拟 CAM 架构,用于映射大型模型的目标值矩阵 ;每个子阵列(灰色框)内部的局部  可独立连接至或断开于高速主匹配线(Master Match Line, )。(b) 动态电路示意图,显示子阵列中的局部  如何通过使能晶体管连接到全局 ;只有被启用子阵列中的  会参与  放电,从而在保持并行搜索能力的同时节省能耗。(c) 在不同器件阈值电压波动标准差  下,电路仿真结果与所提行为模型(公式 2)之间的误差随列数增加的变化情况。(d) 随树深度增加,使用可扩展  架构的模拟 CAM(ACAM)与 GPU(RTX 3090)和 CPU(AMD EPYC 7413)在单样本推理延迟上的对比。(e, f) 树深为  时,DT 和 SDT 在单样本推理中的延迟与能耗对比。

结论与展望

综上,本文建立了一种面向可信且高效 AI 的硬件-软件协同设计范式。与以往试图让模拟 CAM 单元逼近数字式锐利边界的思路不同,该研究证明,模拟 CAM 固有的软搜索边界可被转化为实现软树模型概率推理的硬件优势,从而在保留树形模型可解释性的同时获得更高准确率和更强鲁棒性。模拟 CAM 阵列能够在模型存储位置直接并行执行计算密集型的类 Sigmoid 概率计算和路径概率聚合,使软树模型原本高昂的推理开销得以显著降低。

实验和仿真结果表明,软决策树在约  器件阈值电压波动下仍几乎保持完整准确率,仅出现  的准确率下降,有效避免了传统硬决策树在相同条件下发生的灾难性精度退化。基于二维  闪存的  模拟 CAM 阵列在 WDBC 数据集上实现了约  的硬件分类准确率,在 Iris 数据集上实现了  的分类准确率;在推理速度和能效方面,相较 CPU/GPU 基准分别实现了  至  个数量级的加速和  至  个数量级的能耗降低。进一步的消融分析表明,单纯依靠 CAM 架构加速并不足以保证非理想硬件中的准确性,真正恢复精度并提升鲁棒性的关键在于将硬树模型转化为能够利用固有软边界的软树模型。

展望未来,单晶单层  材料的生长与器件制备进展有望进一步改善器件均一性和系统性能。与此同时,软边界计算思想并不局限于  闪存,也可推广至铁电场效应晶体管(Ferroelectric FET, FeFET)、硅基闪存和其他阈值可调非易失存储器件。该工作通过将新型电子器件、非常规电路架构和机器学习模型设计紧密结合,为面向可信机器学习和高能效人工智能应用的专用硬件开发提供了新的路径。

文献信息

Trustworthy tree-based machine learning by  flash-based analog content-addressable memory with inherent soft boundaries

(Nat. Commun., 2026, DOI: 10.1038/s41467-026-72118-z)

文献链接:https://doi.org/10.1038/s41467-026-72118-z

,以及各种测试分析,


h-BN




Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/195521