LOGO
博士生张凡、硕士生廖良翌的论文被ICNP 2017录用
时间:2017-07-25 11:39:12

博士生张凡、硕士生廖良翌的论文被ICNP 2017录用

实验室博士生张凡的论文“Popularity-aware Differentiated Distributed Stream Processing on Skewed Streams”和硕士生廖良翌的论文“The Dynamic Cuckoo Filter”被第25届计算机网络协议国际学术会议The 25th IEEE International Conference on Network Protocols ICNP 2017)录用。

博士生张凡的论文“Popularity-aware Differentiated Distributed Stream Processing on Skewed Streams”针对现有分布式流处理系统在面向倾斜分布的实时流数据处理时存在的系统吞吐低或难以扩展的问题,提出了一种热度感知的流数据调度机制。现有的分布式流处理系统在对工作负载进行划分时,常采用轮询或哈希等一刀切的策略。在面向倾斜分布的流数据时,哈希策略会带来严重的系统负载不均问题,降低系统的整体计算性能;轮询策略则会造成大量不必要的空间开销,制约系统的可扩展性。针对这一问题,论文指出,高效的分布式流处理的关键是能够对不同热度的数据进行即时的识别和有效的区分调度,对热点数据项使用轮询调度方法来保证系统的负载均衡;对非热点数据项采用哈希的调度方法,以避免不必要的空间开销。为了进一步解决热点流数据项实时动态变化难以预测的问题,论文设计了一种基于概率计数的技术,轻量而高效的对流数据热度进行统计和热门数据项识别。该数据调度策略在Apache Storm上进行了部署。大规模真实数据的测试结果表明,相比当前Storm采用的PKG策略,该数据调度策略使系统的总体吞吐提升了2.3倍,而流数据的平均处理延时降低了64%

硕士生廖良翌的论文“The Dynamic Cuckoo Filter”着力于解决计算机领域经典的近似集合成员判定(approximate membership test)技术应用于大数据环境中所存在的问题。近似集合成员判定技术旨在快速、准确地判定数据是否存在于已有的数据集合中,常应用于网络应用以及文件系统。针对大数据时代存在的体量巨大、大小动态变化且存在删除的数据集合(dynamic set), 现有方法只能单一的实现数据集合存储结构动态扩展或集合元素可靠删除等功能,并且在时间和空间上都做出了较大牺牲。论文提出一种基于指纹判定和重定位技术的动态可扩展数据结构DCF,对数据集合进行组织和存储,并且设计了一套高效的方法对已存储的数据集合进行插入,查询,删除和空间整理。DCF通过动态增加building block实现了存储结构动态扩展,通过基于“The power of two choice”思想的重定位技术解决了哈希碰撞带来的低空间使用率问题,实现了高效的动态数据集合组织和存储,而使用独占的指纹来标识数据的存在性则实现了集合元素的可靠删除操作。结合随机数据测试和真实数据集测试,证明了DCF可以高效地支持数据结构容量动态伸缩以及可靠删除操作,相比于当前的DBF方法减少了75%的空间开销,并且在集合元素插入和近似集合成员判定操作上速度提高了50%~80%

IEEE ICNP是计算机网络领域享有盛誉的顶级国际学术会议之一。今年ICNP共收到投稿209篇,录用39篇,录用率仅约18.7%

 

通讯员:张凡、廖良翌

 

 更多 更多 更多 更多