2011年并行处理国际会议(The 40th Annual International Conference on Parallel Processing ICPP 2011 )文章录用结果揭晓,实验室博士生Shadi Ibrahim的论文“Adaptive Disk I/O scheduling for MapReduce in Virtualized Environment”被收录为大会宣读论文。
论文依托实验室牵头承担的国家973计划项目“计算系统虚拟化基础理论与方法研究”展开研究工作。论文指出,虚拟机的干扰影响到大规模虚拟化环境中的性能预测和系统吞吐率,一直以来是云计算领域富有挑战性的问题。这种干扰与应用类型、虚拟机数量以及使用的虚拟机调度算法等因素有关。鉴于MapReduce已成为云计算的一种重要数据处理模型,论文的工作主要针对Hadoop中虚拟机干扰对磁盘I/O调度的影响,通过实验总结了在hypervisor及虚拟机中使用不同的磁盘调度器时,不同应用之间的Hadoop性能变化特征。另外,一个典型的Hadoop应用交替处于几种不同的状态阶段,每种状态阶段要求的I/O负载模式也不同。因此,磁盘调度器不仅要对不同的MapReduce应用达到次优,还要在应用的不同状态阶段达到次优。基于以上分析,论文提出了一种新型的调度方法,在单个MapReduce作业执行过程的不同阶段,同时对hypervisor和虚拟机内部的调度器进行适应性调整。实验结果表明该方法能显著的提高MapReduce性能,在Hadoop上的排序任务测试中,论文提出的磁盘调度适应性调整方法提升了25%的总体执行效率。
今年是第40届并行处理国际会议(ICPP),会议共收到363篇论文,录用81篇,录用率为22%,论文集由IEEE出版社出版。该会议是并行处理领域具有影响力的国际会议,主要关注并行与分布式计算方面的最新发展,旨在推动诸如计算体系架构、多核并行计算系统、云计算、虚拟化技术、操作系统与运行时技术等各个相关领域更深入的研究。
通讯员: 赵娜