CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名跨语言任务型对话系统构建方法研究
作者向露
答辩日期2022-05-19
文献子类博士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师宗成庆
关键词任务型对话系统 跨语言 鲁棒性 知识迁移
学位名称工学博士
学位专业模式识别与智能系统
英文摘要

       随着移动通信和网络技术的快速发展与普及应用,智能客服和智能助手的需求极大地上升,任务型对话系统作为其中最重要的一种技术类型,是当前自然语言处理领域的一大研究热点。任务型对话系统旨在以有限的对话轮数帮助用户完成特定的任务,在虚拟个人助手、智能家居和智能客服等领域都有着广泛应用。

       随着全球化进程的加速发展,跨语言交流变得愈发重要。然而,现有的任务型对话系统主要利用某一种语言的数据进行训练,在进行多语言迁移和扩展时,面临较大挑战:一方面,部分语种的对话数据较为稀缺,无法满足当前深度学习对话系统的数据要求;另一方面,倘若采用机器翻译系统充当跨语言对话系统的桥梁,则存在鲁棒性差、响应速度低和部署难度大等问题。为此,本文研究如何有效利用高资源语言的对话系统和相关的多语言资源,快速实现低资源语言场景下的对话系统构建。本文的主要贡献和创新归纳如下:

1.提出了一种面向多粒度翻译噪声的鲁棒对话系统构建方法

       针对“翻译-对话-回翻”三级管道式跨语言对话系统由于误差累积导致的对话系统鲁棒性差的问题,提出了一种面向多粒度翻译噪声的鲁棒对话系统构建方法。该方法首先基于机器翻译多粒度噪声知识,从词汇、短语和句子三种粒度构造包含翻译噪声的对抗样本,然后采用两种对抗学习策略增强对话系统的鲁棒性。具体地,基于语句的对抗学习策略利用多粒度对抗样本和干净数据进行对抗训练,指导对话系统学习与噪声无关的隐层表示;基于知识的引导方法则将多粒度噪声知识显式加入到噪声知识库中,从而增强对话系统的鲁棒性。实验表明,所提方法能够显著改善对话系统的鲁棒性,继而提升跨语言对话系统的性能。

2.提出了一种基于知识迁移的端到端的跨语言对话系统构建方法

       针对管道式跨语言对话系统存在的误差累积、响应延迟大和计算复杂度高等问题,提出了一种基于知识迁移的端到端的跨语言对话系统构建方法。该方法在不依赖目标语言任何数据资源的情况下,通过迁移资源丰富的源语言对话知识提升了目标语言对话系统的性能。具体地,所提方法通过对单语言对话、跨语言对话和机器翻译三类任务的联合学习,在翻译知识和源语言对话知识的指导下实现零资源目标语言的端到端的对话系统训练。实验表明,所提方法能够在不依赖任何目标语言对话数据的情况下,有效建立端到端的跨语言对话系统,相比于管道式跨语言对话系统具有模型参数小、响应速度快等优势。

3.提出了一种基于语义对齐的零样本跨语言对话系统扩展方法

       针对目前对话系统不能利用单一模型处理多种语言的问题,提出了一种基于语义对齐的零样本跨语言对话系统扩展方法。该方法在缺少目标语言对话数据的情况下,利用多语言预训练模型将单语言对话扩展为多语言对话。具体地,所提方法从跨语言对齐和对话任务学习两个角度出发建立了多项预训练辅助任务。其中,前向词汇翻译、逆向句子还原和跨语言语义相似度量任务旨在指导模型学习对齐的多语言语义表示;单语言和跨语言对话状态追踪则帮助模型学习对话相关的知识。实验表明,所提方法能够实现源语言单语对话模型的零样本跨语言扩展,使其兼具源语言和多种目标语言处理的能力。

      综上所述,本文针对低资源场景下跨语言对话系统的构建方法展开了深入研究,分别从对话系统的鲁棒性、跨语言对话系统的迁移和跨语言对话系统的扩展三个方面出发,提出了一系列为低资源语言构建对话系统的方法。最终实验证实了本文所提出的方法能够有效利用高资源语言的对话系统和相关的多语言资源快速构建跨语言对话系统。

语种中文
页码140
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/48889]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
向露. 跨语言任务型对话系统构建方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2022.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace