循环神经网络（RNN）

循环神经网络（RNN）基本原理

一、RNN核心思想

目标：处理序列数据（如文本、时间序列），通过循环连接传递隐藏状态，捕捉序列的动态依赖关系。
核心特性：

• 参数共享：所有时间步共享同一组权重。
• 记忆能力：隐藏状态 $h_t$ 编码历史信息。

---

二、网络结构与数学公式

1. RNN展开结构

• 输入：时间步 $t$ 的输入 $x_t$（如词向量）。
• 隐藏状态：$h_t$ 融合当前输入与历史信息。
• 输出：$y_t$ 基于 $h_t$ 生成预测。

2. 数学公式

• 隐藏状态更新：
  $$h_t=\tanh (W_{hh}{h}_{t-1}+W_{xh}{x}_t+b_h)$$

  • $W_{hh}\in {\mathbb{R}}^{d_h\times d_h}$: 隐藏状态权重
  • $W_{xh}\in {\mathbb{R}}^{d_x\times d_h}$: 输入权重
  • $\tanh$: 激活函数（压缩到[-1,1]）

• 输出计算：
  $$y_t=W_{hy}{h}_t+b_y$$

  • $W_{hy}\in {\mathbb{R}}^{d_h\times d_y}$: 输出权重

---

三、PyTorch代码实现

1. RNN模型定义

import torch
import torch.nn as nnclass SimpleRNN(nn.Module):def __init__(self, input_size, hidden_size, output_size):super(SimpleRNN, self).__init__()self.hidden_size = hidden_size# 定义权重参数self.W_hh = nn.Parameter(torch.randn(hidden_size, hidden_size))self.W_xh = nn.Parameter(torch.randn(input_size, hidden_size))self.W_hy = nn.Parameter(torch.randn(hidden_size, output_size))self.b_h = nn.Parameter(torch.zeros(hidden_size))self.b_y = nn.Parameter(torch.zeros(output_size))def forward(self, x_seq):# x_seq形状: (seq_length, batch_size, input_size)batch_size = x_seq.size(1)h = torch.zeros(batch_size, self.hidden_size)  # 初始隐藏状态outputs = []for x_t in x_seq:  # 按时间步迭代# 更新隐藏状态h = torch.tanh(torch.mm(h, self.W_hh) + torch.mm(x_t, self.W_xh) + self.b_h)# 计算输出y_t = torch.mm(h, self.W_hy) + self.b_youtputs.append(y_t)return torch.stack(outputs), h