BiLSTM 模型

切换语言: BiLSTM Model

M4 是当前项目中的双向 LSTM 编码器。

为什么要保留 BiLSTM

BiLSTM 是 CNN 的自然对照：

  • CNN 偏向局部模式抽取；

  • BiLSTM 明确把序列看作有顺序的链；

  • 双向隐藏状态能同时整合左右上下文。

结构概览

  • 输入：one-hot tensor (B, 5, L)

  • 序列布局：转成 (B, L, 5)

  • 核心：2 层双向 LSTM

  • 隐层宽度：每个方向 256

  • 输出：前向/后向最终状态拼接

如果展开成标准递推公式，LSTM 每一步都会更新门控和记忆：

\[i_t = \sigma(W_i x_t + U_i h_{t-1} + b_i)\]
\[f_t = \sigma(W_f x_t + U_f h_{t-1} + b_f)\]
\[o_t = \sigma(W_o x_t + U_o h_{t-1} + b_o)\]
\[\tilde{c}_t = \tanh(W_c x_t + U_c h_{t-1} + b_c)\]
\[c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t, \qquad h_t = o_t \odot \tanh(c_t)\]

双向版本会同时做正向和反向递推，因此每个最终表示都能同时感受到左右两侧上下文。

为什么对 EPI 有帮助

增强子和启动子区域中的调控信息不只是单个 motif，还包括 motif 的上下文组织。 BiLSTM 能更直接地表达：

  • 顺序上的模式推进；

  • 局部到中程的上下文累积；

  • 被简单池化操作冲淡的方向性信号。

这在一个 motif 的意义依赖前后文、依赖多个局部模式出现顺序时尤其重要。BiLSTM 建模的 不只是“有没有 motif”，而是“motif 如何沿着序列上下文展开”。

优势 +++

  • 顺序感强；

  • 循环归纳偏置清晰；

  • 适合和注意力、状态空间路线做直接对照。

计算复杂度与适用范围

  • 时间复杂度：递归更新使其大致呈 \(O(L \cdot H^2)\) 风格，并且位置维并行性有限。

  • 显存特征：隐藏状态本身不算极端，但训练时需要沿整条序列保留递归激活用于反向传播。

  • 适用范围：适合短到中等长度窗口，以及那些“顺序上下文比全局两两交互更重要”的场景。

局限 +++

  • 对超长序列来说计算顺序性更强；

  • 并行性不如纯卷积或纯注意力路线。

项目中的作用

M4 是整个 benchmark 中经典循环基线的代表，用来回答一个核心问题： 在引入 Transformer、Mamba、RWKV 等新路线之后，显式顺序递归是否仍然有价值。

../_images/div.png