LOGO LOGO
实验室石宣化老师的论文被ACM Transactions on Computer Systems(TOCS)录用
时间:2018-11-30 11:06:31

实验室石宣化老师的论文被ACM Transactions on Computer Systems(TOCS)录用

实验室石宣化老师的论文“Deca: a Garbage Collection Optimizer for In-memory Data Processing”被国际学术期刊ACM Transactions on Computer Systems(TOCS)录用,这是实验室第一次在ACM系统领域的顶级期刊上发表论文。

将中间数据缓存在内存中以及在shuffle缓冲区中动态归并数据已被证明能有效地减少大数据处理系统(如SparkFlink)中的数据重计算和I / O开销。但是,这些技术也会创建大量长寿命数据对象,这些生成的对象使垃圾回收器的工作时间变长,尤其是在处理大型数据集时,从而限制了系统的可伸缩性。为了消除这个问题,论文提出了一个基于生命周期的内存管理框架,通过自动分析用户定义的函数和数据类型,获得数据对象的预期生命周期,然后相应地分配和释放内存空间以最小化垃圾收集开销。在此基础上,研发的Deca系统透明地将具有相似生命周期的对象分解,放置在字节数组中,并在它们的生命周期结束时释放它们占用的空间。当系统处理大型数据时,Deca还提供面向字段的内存页面以确保高压缩效率。使用生成和真实数据集进行的广泛实验研究表明,与原生Spark相比,Deca能够将垃圾收集时间减少99.9%,内存消耗减少46.6%,缓存开销减少23.4%;在无数据溢出时,实现执行加速1.2x-22.7x,在数据溢出的情况下,实现16x-41.6x的加速。

ACM Transactions on Computer Systems(TOCS) 1983年创刊,主要关注包括操作系统、体系结构、硬件、分布式系统、编译优化等领域。该刊每年出版四期,每期三篇论文左右,目前中国仅有两篇论文发表。

通讯员:胡振宇