7月19日下午，来自阿里巴巴的两位专家邱明辉和计峰，以远程接入的方式为数据学院暑期学校师生带来有关迁移学习和智能服务的精彩报告。
邱明辉博士的报告主题是“阿里深度迁移学习框架及其在智能客服领域应用”。
深度迁移学习的目标是，用深度学习相关的技术，在源领域学习比较好的数据表示，再将学到的相关知识迁移到目标领域。深度迁移学习可以解决深度学习面临的参数多、落地难、数据强依赖等问题，并且适合多目标优化和跨领域联合建模。然而，迁移学习自身也面临单一算法无法适用多样场景、迁移学习算法范式多且复杂等问题。因此，希望建立深度迁移学习统一框架，整合迁移学习算法，通过白盒化工具方便算法落地。
深度迁移学习框架
框架目前主要针对源数据和目标数据都有标注的Model Fine-tuning和Multitask Learning任务。后续可能会将框架开源。该框架对神经网络层、模型和应用进行抽象，ModelZoo支持主流预训练模型，AppZoo支持主流的NLP/迁移应用。利用该框架，用户可以简洁轻便地构造网络。同时对分布式优化细节向用户做了屏蔽，用户只需调用优化器即可达到很好的收敛加速比，进一步方便用户使用。
迁移学习算法适用场景
在算法层面，PAI迁移学习框架支持FineTune、特征迁移、样本迁移，以及模型迁移四种迁移学习算法。邱博士分别详细地介绍了迁移学习算法适用的业务场景、细节、难点。邱博士及其所在团队所做的相关工作在阿里的多个业务场景落地，多篇论文在重要会议上发表，多个模型在公开榜单上曾排名第一；提出的任务自适应BERT知识蒸馏AdaBERT，相比原模型推理提升29倍，参数仅为1/10；提出的强化迁移学习，在样本迁移学习场景取得非常好的成果。
相关论文列表
计峰博士围绕“智能服务中的自然语言处理技术”作进一步展开。
在传统客服系统中，用户可能通过在线、热线或表单三种方式接入客服系统，由在线客服或后台人员回答或解决问题。2015年后，业界在传统客服上添加自动化解决方案，目的是使用户提出的问题可以由机器人回复，如果机器人无法回答则转交在线客服或后台人员。
智能化客服系统——小蜜机器人平台
小蜜机器人平台就是这样的智能客服系统。小蜜平台分为三块，分别是阿里小蜜、店小蜜和企业小蜜，分别支撑各自业务生态。在2018年，平台日常承接90%服务量，整体解决87%，支持十余种语言。2019年，计峰博士所在阿里小蜜团队与清华大学黄民烈老师合作项目获得“吴文俊人工智能科技进步奖”一等奖。
小蜜机器人平台
小蜜平台底层建设了通用能力，包括文本语义理解、迁移学习和强化学习等。在此基础上，小蜜具备文本匹配、阅读理解、问题预测、情感分析、文本生成、对话策略等能力。在bot层实现了丰富的功能。工程层面则接入外部ASR，TTS引擎，实现消息路由以及规则引擎。
HCNN模型
RE2模型
计博士介绍了智能服务中的文本匹配算法。HCNN兼具速度快和准确率较高的优点。2019年，受convolutional sequence model的启发提出了RE2模型，多个卷积编码模块相互叠加，准确率媲美state-of-the-art的同时有更快的推理速度。
通过强化学习挑选历史信息
迁移学习算法可以被用来解决文本匹配任务中的数据不均衡或缺少标注的问题。迁移强化学习通过逐步添加比较的方式，确定网络删选信息的行为，从而解决对话式阅读理解中历史信息的选择问题。此外，在工业级对话系统中，通过零次文档过滤模型构建的规则引擎能够解决线上突发问题。
最后，计峰博士从语言资源、多模态和预训练、可解释性和海量大规模任务等角度，对自然语言处理任务在工业界的未来做了展望。
论文列表
报告结束后，两位专家对老师和同学提出的关于深度迁移学习平台和数据中台的关系、算法细节以及适用场景等问题进行详细解答。
报告人简介：
邱明辉，阿里巴巴算法专家。研究兴趣为自然语言处理和机器学习。2015年于新加坡管理大学获得博士学位，期间于CMU访学一年。毕业之后加入阿里星计划。主要从事深度迁移学习和强化学习框架算法的研究应用和落地。迄今为止，在顶级国际会议和期刊上发表论文40余篇。
计峰，阿里达摩院小蜜机器人算法团队算法专家，中文信息学会青年工作委员会委员。研究兴趣为自然语言处理和对话系统。2012年于复旦大学获得博士学位。毕业后，在先锋商泰、一号店和阿里巴巴从事算法的相关研究和开发的工作，具有非常丰富的实践经验。加入阿里之后，在顶级的国际会议和期刊发表论文20余篇。
撰稿 ｜ 郝珊锋
排版 ｜ 施若男
