{線上賭場}(lstm有几个门)

1、LSTM是 long short term memory的一种简称，中文名字呢又叫做长短期记忆，这是现在最流行的 RNN的计算方式的其中的一种，在上一篇文章中，我介绍过 RNN是在有序的数据中进行学习的，为了记住这些数据。

2、LSTMLong ShortTerm Memory是长短期记忆网络，是一种时间递归神经网络RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现 LSTM 已。

3、batch*emb_dim + batch*n_class 所以输入维度是batch，emb_dim + n_classdropout是控制隐藏层正常工作的节点个数在训练时使用，验证时不使用在多层lstm中的不同层之间使用，同一层的lstm中循环体之间不使用。

4、LSTM的第一步是确定我们将从单元状态中丢弃哪些信息，这个策略由一个被称为遗忘门的sigmoid层决定输入ht#87221和xt遗忘门对应单元状态Ct1中每个数输出一个0到1之间的数字1代表“完全保持”，0表示“完全遗忘”。

5、术语 循环神经网络Recurrent Neural Network， 简称 RNN 长短期记忆Long ShortTerm Memory， 简称 LSTM 门限循环单元Gated Recurrent Unit， 简称 GRU 人类并不是每时每刻都从一片空白的大脑开始他们的思考在你阅读这篇。

6、对应最后一个token 然而 hn1 是 LSTM 从右向左编码句子的最后一个hidden_state，对应第一个token output 如果按照第三维度均分为两份就可以得到 output_forward 和 output_backward 他们的size。

7、LSTM是为了避免长依赖问题而精心设计的 记住较长的历史信息实际上是他们的默认行为，而不是他们努力学习的东西 所有循环神经网络都具有神经网络的重复模块链的形式 在标准的RNN中，该重复模块将具有非常简单的结构，例如单个tanh层。

8、不同于之前的LSTM结构，忘记门和输入门是独立的，这个变式是在忘记门删除历史信息的位置加入新的信息，在加入新信息的位置删除旧信息该结构如下图所示 一种比其他形式变化更为显著的LSTM变式是由 Cho， et al 2014 提出的门。

9、而LSTM和GRU只是cell的变种形式，总体上RNN的结构是不变的双向RNN的总体结构也没变，也只是cell的形式有所变化好了，下面回到经常看到的图 这张图是一个lstm的总体结构，我们知道，lstm里面最重要的概念是“门结构。

10、为了优化此问题，多方研究提出了循环神经网络，且为了解决长距离依赖的问题，出现了长短期记忆网络LSTM本篇就LSTM循环神经网络进行简单的讲解嵌牛鼻子LSTM循环神经网络 嵌牛正文LSTM循环神经网络应用了门控算法。

11、Model式模型1lstm包含Model式模型和序贯模型2Model式模型可以同时分阶段输入变量，分阶段输出想要的模型3是函数式模型的简略版，为最简单的线性从头到尾的结构顺序，不分叉。

12、但summarization摘要任务上需要考虑的是成篇章级别，并且长距离依赖，这时单靠selfattention建模依赖关系可能仍显不足，而这时候lstm的优势反而凸显出来 SelfAttention 可以使任意两个 token 间的依赖计算变为常数，长距离。

13、然而，幸运的是，LSTM 并没有这个问题！ Long Short Term 网络 一般就叫做 LSTM 是一种 RNN 特殊的类型，可以学习长期依赖信息LSTM 由Hochreiter Schmidhuber 1997提出，并在近期被Alex Graves进行了改良和推广在很多问题。

14、借助RNN的state这样的记忆单元，使得一个序列位置的输出在数学上和之前的所有序列的输入都是有关系的当然原始的RNN由于梯度的乘性问题，前面的序列的影响近乎为0，这个后面又用LSTM来修正为加性问题RNN的数学基础可以认为。

15、传统使用 编码器解码器 的 RNN 模型先用一些 LSTM 单元来对输入序列进行学习，编码为固定长度的向量表示然后再用一些 LSTM 单元来读取这种向量表示并解码为输出序列 存在的一个问题在于 输入序列不论长短都会被。