LOGO
博士生陆路的论文被VLDB 2016录用
时间:2016-06-30 16:26:35

实验室博士生陆路的论文“Lifetime Based Memory Management for Distributed Data Processing Systems”被The 42nd International Conference on Very Large Data Bases (VLDB 2016) 录用。

目前主流的分布式数据处理系统,如SparkFlink,都通过在内存中缓存计算的中间结果来减少重算和磁盘IO。然而,这往往会导致作业运行时在JVM堆中创建大量长生命周期的数据对象。大量存活对象会严重降低JVM的垃圾收集性能,其空间占用接近可用内存上限时甚至还会影响系统运行的稳定性。论文针对这一问题提出了基于对象生命周期的内存管理和程序优化框架Deca,并基于Spark实现了原型系统。Deca截获用户提交的作业,自动分析代码中的自定义类型(UDT)和自定义方法(UDF),以获取不同数据对象的生命周期和内存占用信息。在保证代码转换语义正确性的前提下,Deca将相同生命周期对象中的数据集中存储在少量字节数组中,从而显著降低了存活对象的数量。实验结果表明,相比于Spark系统,Deca最多可以减少99.9%的垃圾收集时间;对于典型大数据处理应用,性能提升可分别达到41.6x22.7x(存在与不存在缓存数据换出)。

VLDB是数据处理相关领域享有盛誉的顶级国际会议之一,Deca是实验室在内存计算方向继Mammoth之后的又一重要研究进展。

 

通讯员: 陆路
 更多 更多 更多 更多