Linear Transformer 模型

切换语言: Linear Transformer Model

M7 是标准 Transformer 的线性注意力替代路线。

核心动机

标准注意力对序列长度是二次复杂度。对基因组长序列来说，这很容易成为瓶颈。 Linear Transformer 用核函数化近似替代 softmax 注意力，希望在保留全局交互风格的 同时，把复杂度更好地控制在线性时间风格。

项目中的实现特点

• 输入：one-hot 序列投影到模型空间

• 位置编码：正弦位置编码

• 注意力：ELU+1 核函数映射

• 池化：对序列位置做均值池化

它的关键近似，是把 softmax 注意力改写为核特征映射形式：

\[\mathrm{Attn}(Q, K, V) \approx \frac{\phi(Q)\big(\phi(K)^\top V\big)} {\phi(Q)\big(\phi(K)^\top \mathbf{1}\big)}\]

其中 \(\phi(\cdot)\) 是诸如 ELU+1 这样的正值核映射。这样就能重排计算顺序， 使复杂度对序列长度呈线性时间风格增长。

为什么它对 EPI 有意义

这个模型实际在问一个很重要的问题：是否能在保留注意力全局交互气质的同时， 比标准 Transformer 更适合处理超长 DNA 序列。

这对基因组任务很关键，因为长程调控依赖恰恰出现在序列很长的区域，而完整二次注意力 也正是在这个长度区间开始变得昂贵。

优势 +++

• 比标准注意力更适合长序列扩展；

• 不必强依赖 CNN 前端先压缩 token；

• 很适合做长程序列建模比较。

计算复杂度与适用范围

• 时间复杂度：通过线性化注意力把长度依赖降到近似线性风格，避免完整 \(T^2\) 注意力图。

• 显存特征：比标准 Transformer 更友好，因为不需要显式物化完整 token 两两矩阵。

• 适用范围：适合长窗口序列，并且仍然希望保留注意力式全局交互气质的场景。

局限 +++

• 线性化注意力本质上是近似，不是完整 softmax 注意力的严格等价物；

• 近似是否足够好，取决于任务关心的交互是否被保留下来。