第十二届全国机器翻译研讨 2016年8月,乌鲁木齐 神经机器翻译前沿进展 刘洋
神经机器翻译前沿进展 刘洋 第十二届全国机器翻译研讨会 1 2016年8月，乌鲁木齐
机器翻译 ·目标:利用计算机实现自然语言的自动翻译 布什 与 沙龙举行 会谈 Bush held a talk with Sharon 2
机器翻译 • 目标：利用计算机实现自然语言的自动翻译 2 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon
发展历史 趋势:让机器更“自主”地学习如何翻译 规则 数据驱动 机器翻译 机器翻译 1980 1990
发展历史 • 趋势：让机器更“自主”地学习如何翻译 3 规则 机器翻译 统计 机器翻译 神经 机器翻译 1980 1990 2013 数据驱动 机器翻译 1990
数据驱动的机器翻译 核心问题:如何为翻译过程建立概率模型? X布什 与 沙龙举行 会谈 y/X; 0 y Bush held a talk with Sharon
数据驱动的机器翻译 • 核心问题：如何为翻译过程建立概率模型？ 4 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon
统计机器翻译 ·隐变量对数线性模型:在隐式语言结构上设计特征 X布什 与 沙龙举行 会谈 Pyx)=∑ exp(·￠(x,y,z) >y∑xexp(·0(x,y,z) (Och and Ney, 2002 y Bush held a with Sharon
统计机器翻译 • 隐变量对数线性模型：在隐式语言结构上设计特征 5 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon (Och and Ney, 2002)
基于短语的统计机器翻译 ·短语翻译模型:以隐结构短语为基本翻译单元 布什与沙龙举行了会谈 布什 与沙龙 举行了会谈 Bush With Sharon held a talk Bush held a talk With Sharon Bush held a talk With Sharon (Koehn et al., 2003) 6
基于短语的统计机器翻译 • 短语翻译模型：以隐结构短语为基本翻译单元 6 布什 与 沙龙 举行 了 会谈 布什 与 沙龙 举行 了 会谈 Bush with Sharon held a talk Bush held a talk with Sharon Bush held a talk with Sharon (Koehn et al., 2003)
统计机器翻译的优缺点 优点 ·隐结构可解释性高 利用局部特征和动态规划处理指数级结构空间 缺点 线性模型难以处理高维空间中线性不可分的情况 ·需要人类专家设计隐式结构及相应的翻译过程 需要人类专家设计特征 离散表示带来严重的数据稀疏问题 难以处理长距离依赖
统计机器翻译的优缺点 • 优点 • 隐结构可解释性高 • 利用局部特征和动态规划处理指数级结构空间 • 缺点 • 线性模型难以处理高维空间中线性不可分的情况 • 需要人类专家设计隐式结构及相应的翻译过程 • 需要人类专家设计特征 • 离散表示带来严重的数据稀疏问题 • 难以处理长距离依赖 7
难点:长距离调序 held Bush President talk Sharon at Minister Israel the He ouse Prime 如何用上述词语拼成合理的译文?
难点：长距离调序 8 Bush President held a talk with Israeli Prime Minister Sharon at the White House 如何用上述词语拼成合理的译文？
统计机器翻译示例 Chinese 美国总统布什昨天在白宫与以色列总理沙龙就中东局势x 举行了一个小时的会谈。 English Yesterday, U.S. President George W. Bush at the White House with Israeli Prime Minister Ariel sharon on the situation in the middle east held a one-hour talks 9
统计机器翻译示例 9
深度学习带来新思路 nature full stop Is chosen (7, 72.,76. Overall, this process generates sequences of French words according to a probability distribution that depends on the English sentence. This rather naive way of performing machine translation has quickly become competitive with the state-of-the-art, and this raises serious doubts about whether understanding a sen- tence requires anything like the internal symbolic expressions that are manipulated by using inference rules. It is more compatible with the Yann Le cun Yoshua Bengio Geoffrey Hinton (Le Cun et al, 2015)
深度学习带来新思路 10 Yann LeCun Yoshua Bengio Geoffrey Hinton (LeCun et al, 2015)