2023年6月20日下午,金海教授指导的博士生吴文超顺利通过博士学位论文答辩。
吴文超的博士论文题目为“GPU加速的神经网络训练运行时系统关键技术研究”。论文对现有的神经网络训练存在并行效率低、负载不均衡严重、多任务协调难等问题,提出了负载特性指导的、硬件高效的运行时系统。具体贡献为(1)提出了基于关键路径的细粒度并行策略,将负载特征、软件多流、硬件并行进行系统性结合,有效地减少了训练迭代时间和提升了GPU资源利用率。(2)提出了图结构指导的负载均衡方法,进行选择性的数据放置、度数指导的任务分配,和多阶段流水线调度,从而最大化访存效率、并行效率、实现多粒度负载均衡。(3)设计了一个面向多任务训练的高效GNN系统,提出了一种细粒度、通用、高效的跨任务算子融合方法,消除了任务之间冗余的图数据访问开销,大幅度提升了kernel性能,实现了无序、高竞争资源的合理利用。
答辩委员会由西安电子科技大学崔江涛教授(主席)、中国地质大学(武汉)计算机学院姚宏教授、华中科技大学武汉光电国家研究中心周可教授、华中科技大学计算机学院凌贺飞教授和胡燏翀教授组成。委员们分别从研究问题、技术原理、论文撰写以及未来发展趋势等不同角度进行提问,答辩人均一一做了细致的解答。
经答辩委员会讨论,认为吴文超同学的论文达到了博士学位论文水平,一致同意通过该生的博士学位论文答辩,并建议授予吴文超同学工学博士学位。
(通讯员:吴文超)