石宣化博士的论文“Mammoth: Gearing Hadoop Towards Memory-Intensive MapReduce Applications” 2014年7月被IEEE Transaction on Parallel and Distributed Systems(IEEE TPDS)期刊收录为regular论文,论文2014年12月被IEEE Computer杂志推荐为亮点论文。
MapReduce和Hadoop的日益普及使得越来越多的教育科研和中小型组织用户参与到大数据生态中,但Hadoop基于多JVM进程的并发任务执行机制是针对计算、内存和I/O能力较为均衡的节点配置而设计。论文针对HPC和普通商用集群环境中节点内存有限的问题,提出了一种新的多线程并发任务执行机制,对同一节点各任务线程的内存使用和I/O操作进行统一的中心化管理,并基于这一设计实现了原型系统Mammoth。Mammoth I/O管理器使用专用I/O线程和多缓冲机制来实现I/O操作的异步化和串行化。全局内存管理器负责协调各计算线程I/O读写缓冲区和shuffle排序缓冲区的空间分配和回收,并设计实现了一种基于优先级规则的启发式内存分配算法来最大化内存使用收益。论文通过大规模HPC集群下的真实实验,分析并验证了Mammoth设计实现在不同应用场景下的有效性和可扩展性。相比于Hadoop系统,Mammoth在多数场景下有40%以上的性能提升,某些应用(如PageRank)可以有5.19倍的性能提升。Mammoth系统已经开源,项目网站:http://grid.hust.edu.cn/xhshi/projects/mammoth.htm
通讯员: 吴未