LOGO LOGO
博士生刘聪的论文被IEEE TPDS录用
时间:2021-12-09 16:32:11

近日,2018级博士生刘聪(导师金海教授)的论文“ReHy: A ReRAM-based Digital/Analog Hybrid PIM Architecture for Accelerating CNN Training ”被体系结构顶刊 IEEE Transactions on Parallel and Distributed Systems(IEEE TPDS)录用。

该论文针对卷积神经网络(CNN)训练提出了基于ReRAM的数模混合异构加速器,保证了CNN训练准确率的同时也带来了极大的性能提升。CNN训练过程可以分为前向和后向阶段,CNN训练在后向传播阶段通常需要高精度的计算,但当前广泛使用的模拟内存处理(PIM)加速器由于精度受限难以满足要求。论文提出了基于ReRAM的异构加速器ReHy,结合数字和模拟计算模块来加速CNN训练的不同阶段:在前向阶段利用模拟内存处理模块(APIM)实现高性能,在后向阶段利用数字内存处理模块(DPIM)保证高精度。该论文设计了浮点加法和乘法运算符来实现DPIM32位的高精度矩阵乘法运算,保证了后向阶段的计算准确率。在计算过程中,对DPIM阵列中处理单元的刷新和重用,使资源利用率提高了54%。同时,该论文提出一个性能模型,用于评估在 CNN 训练的后向阶段执行高精度矩阵乘法时从 DPIM 获得的收益,ReHy 根据数据并行度卸载可由 DPIM 加速的矩阵乘法。基于七个典型的CNN模型进行实验评估,ReHy实现了与全精度平台相似的准确率和收敛速度,同时与基线(CPU/GPU)和FloatPIM相比,ReHy可以将CNN训练速度提高48.8×和2.4×,并将能耗降低35.1×和2.33×。

IEEE TPDS主要关注并行分布计算算法、并行分布计算应用、并行分布计算结构和并行分布计算软件等领域最新的研究进展和技术,是中国计算机学会(CCF)推荐的A类期刊,SCI 中科院分区2区期刊,每年出刊12 期,该期刊的影响因子为2.687


(通讯员:刘聪)