欢迎光临
我们一直在努力

注意力机制(基于seq2seq RNN)详解

本节提出了注意力(Attention)机制,这是神经网络翻译的最新解决方案。

注意力的思想是 2015 年在论文“Neural Machine Translation by Jointly Learning to Align and Translate”(Dzmitry Bahdanau,Kyunghyun Cho和Yoshua Bengio,ICLR,2015)中提出的,它需要在编码器和解码器 RNN 之间增加额外的连接。事实上,仅将解码器与编码器的最新层连接会存在信息瓶颈,而且不一定能够传递先前编码器层的信息。

下图说明了采用注意力机制的方法:

引入注意力模型的NMT示例
图 1 引入注意力模型的NMT示例

赞(0) 打赏
未经允许不得转载:hosteons中文网 » 注意力机制(基于seq2seq RNN)详解

评论 抢沙发

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫

登录

找回密码

注册