2019年7月24日，国家重点研发计划《面向异构体系结构的高性能分布式数据处理技术与系统》项目中期研讨会在华东师范大学中北校区顺利举行。参与本次会议的是来自十一个学校和企业的三十多名项目老师、专家和同学，就项目的实施进展和未来计划进行了充分讨论。
24日上午，国家重点研发项目计划专题报告在华东师范大学文附楼218举行。 国家重点研发计划项目“面向异构体系结构的高性能分布式数据处理技术与系统”是由华东师范大学联合国防科技大学、湖南大学、西北工业大学、东北大学、浪潮电子信息产业股份有限公司等单位共同申请并承担的。该项目执行周期为三年，2018年5月正式启动，旨在构建统一的数据流模型执行引擎，兼容传统大数据处理系统中的“批处理”和“流处理”两种模式。
首先，华东师范大学的徐辰老师介绍了项目开展过程中的一些收获和启发。徐老师首先介绍了“批处理”和“流处理”相关的背景知识，并结合示例介绍了Dataflow的统一编程模型。 接着，徐老师提出了“关系化Dataflow模型”的概念与大家探讨。 他指出， “Dataflow模型定义了一套批流融合编程模型的标准，它可以进一步关系化。 Flink中DataStream、Table API&SQL分别支持Dataflow模型和关系化 Dataflow模型，Spark Structured Streaming支持关系化的Dataflow模型。”
接着，湖南大学的阳王东教授为学员们介绍了“神威太湖之光上的并行算法设计与优化”。 阳老师具体地讲解了神威太湖之光的体系结构、并行编程模式以及优化等内容。 他指出，E级计算现阶段面临着访存墙、可扩展性、可靠性以及能耗等诸多难题，实现E级计算任重而道远。西北工业大学的汤小春老师带来了“基于数据流子图的频繁子图挖掘”的报告。频繁子图模式挖掘是从图集或者单图中找到支持度大于某个阈值的所有子图的过程，是图数据挖掘算法研究中的一个主要分支，广泛应用于图的分类、用户兴趣建模、图的聚类、数据库设计、索引选择以及生物医学等领域。汤老师在介绍了频繁子图挖掘的相关基础知识后，为大家具体讲解了基于数据流模型的频繁子图挖掘过程，包括初始数据流计算、扩展阶段、编码计算阶段、归并阶段以及频繁模式检查阶段的操作。
东北大学的张岩峰教授也为学员们带来了“统一存储模型中面向倾斜分布大数据的分组聚合查询方法”的报告。张老师介绍了他所在的课题四在项目实施过程中承担的主要任务，包括多数据模型统一存储技术、多级数据缓存管理技术、支持多处理模式的数据访问、支持面向数据流处理的高通量消息数据转发以及数据动态划分。张老师还介绍了PowerHash，它是一种面向倾斜分布大数据的分组聚合查询方法，可以在有限内存中高效地完成倾斜分布数据的GroupBy操作。最后，南开大学的宫晓利老师带来了关于云游戏的报告。他幽默地说，GAugur背后的科研问题是在玩游戏的过程中发现的。他结合他们组发表在HPDC ’2019的会议论文《GAugur : Quantifying Performance Interference of Colocated Games for Improving Resource Utilization in Cloud Gaming》介绍了云游戏面临的挑战，以及他们在云环境下对共享资源的合理分配做出的努力。
通过本次报告，学员们了解到了现阶段大数据领域的机遇和挑战。 GPU硬件的高速发展，使得数据的处理能力得到了大幅提升。 另一方面，越来越多的应用（例如高通量视频处理应用），既需要处理大量数据，又对数据处理时延有极高要求，亟需将批处理技术和流式处理技术进行整合。遵循“应用驱动创新”的原则，我们有必要系统地、积极地开展研究，构建面向CPU-GPU异构体系结构的高性能分布式数据处理系统。
下午，与会代表在小礼堂举行闭门会议研讨项目进展，会议由项目负责人、华东师范大学副校长周傲英教授主持。华东师大徐辰老师代表项目牵头单位对研究内容和任务分解作概括介绍，总结截至目前的七项研究内容的目标和进展。介绍三大重要进展以及阶段性成果：1.面向分布式异构处理引擎的多流水线优化技术；2.多模型统一存储的数据访问性能优化技术；3.面向异构节点执行引擎的粗细粒度优化技术。示范推广工作（结合“天眼工程”）现针对益阳市路口的实时交通视频进行测试。
接下来，五个课题分别汇报各自的工作。湖南大学阳王东老师代表课题一汇报进展情况。课题一设计了数据流编程模型及其可视化编程工具原型，针对“中欧班列”和“天眼工程“相关场景，结合数据流处理技术对高通量和大规模多路视频流处理以及大规模列车图片序列的快速故障识别和检测技术进行研究，研发了混合交通视频多目标识别和跟踪以及列车故障检测的原型系统。
华东师大博士生李志方代表课题二汇报了进展情况。课题二设计了面向批/流融合的SQL接口，包括数据定义语言（DDL）和数据操作语言（DML）的语法定义，及其相应的SQL编译器组件。为了解决分布式环境下CPU多流水线的调度问题，研究了分布式处理引擎中多流水线的静态/动态调度技术。更进一步地，研究了单个CPU-GPU节点内，多流水线的负载均衡策略。
西北工业大学汤小春老师代表课题三汇报了进展情况。课题三实现了一个基于队列堆叠技术的全分布式，二级调度资源管理系统HRM。该系统可以无缝替换已有的Mesos系统，运行Spark分布式引擎。HRM系统支持利用Web UI来监控集群中的机器信息和资源利用情况。汤老师现场演示了HRM系统的三个典型demo案例。
东北大学聂铁铮老师代表课题四汇报进展情况。课题四重点围绕支持数据流处理的分布式存储系统开展深入研究。主要研究并实现了支持多模型数据统一存储系统UStore，面向不同数据类型的分组聚合查询PowerHash算法，以及面向不同读写模式的高效统一索引GPU ART Tree架构。
国防科技大学苏华友老师代表课题五汇报了进展情况。课题五实现了CPU-GPU异构节点的混合执行引擎原型系统搭建。以人脸检测应用为案例，研究了粗细粒度并行优化技术，程序性能加速15倍。针对GPU内存有限的问题，提出了提出了一种深度学习内存控制策略：虚拟混合存储卷积神经网络（mmCNN），可以显著降低GPU的显存消耗量。
在会议讨论阶段，国防科学技术大学窦勇教授、东北大学于戈教授、湖南大学李肯立教授、清华大学武永卫教授、中山大学印鉴教授、哈尔滨工业大学高宏教授、桂林电子科技大学古天龙教授和周娅教授、华东师范大学翁楚良教授和钱卫宁教授等与会专家与项目成员进行了深入的讨论，对项目实施提出了宝贵的意见和建议。
最后，华东师范大学周傲英副校长进行了总结发言。周校长提出了以“强化培训，集中开发，现场部署”为中心的若干建议，指出体系结构和数据库二者之间要彼此交流学习，充分利用两方面的资源优势，发挥出新硬件的能力。现阶段各课题组完成各自的任务，在中期后要逐渐开始重视整个系统的集成，并突出本系统的特点和创新，最终要到现场去完成示范应用（株洲列车、天眼工程）的部署。
文案 | 王嘉伦，李志方，储佳佳
摄影 | 杨大为，郑舒，宁婷
排版 | 方敏
