3.3.2.2 递归神经网络公式有误 #39
Description
有三种方法可以实现RNN。最早的RNN是简单RNN（[[Elman，1990]它将$h$和$x$的线性组合通过逐元素非线性函数 σ （例如，逻辑函数 σ(z)=(1+e−z)−1 或更现代的 ReLU 函数 σ(z)=max(0,z) ）进行处理。
其中的公式σ(z)=(1+e−z)−1理应为$ \sigma(z) = \frac{1}{1 + e^{-z}} $
{{ message }}
有三种方法可以实现RNN。最早的RNN是简单RNN（[[Elman，1990]它将$h$和$x$的线性组合通过逐元素非线性函数 σ （例如，逻辑函数 σ(z)=(1+e−z)−1 或更现代的 ReLU 函数 σ(z)=max(0,z) ）进行处理。
其中的公式σ(z)=(1+e−z)−1理应为$ \sigma(z) = \frac{1}{1 + e^{-z}} $