iTransformer 模型
=================

切换语言: :doc:`../en/iTransformerModel`

``M8`` 是把 iTransformer 思路改写到基因组 one-hot 输入上的路线。

为什么它比较特别
+++++++++++++++++++++++++++++

iTransformer 最早来自时间序列建模，它把常见的注意力视角“翻过来”了：不再主要沿
位置维做注意力，而是沿变量维做注意力。在这里，五个核苷酸通道
``A/C/G/T/N`` 被当作紧凑的变量轴。

为什么这对 DNA 有意思
+++++++++++++++++++++

one-hot 基因组输入只有 5 个通道，因此通道维注意力几乎不贵。这会形成一种非常有
特点的模型：

- 通道之间的关系被显式建模；
- 位置维仍然保留非线性变换；
- 复杂度更多取决于通道数，而不是原始序列长度。

iTransformer 真正特别的地方，是它把“谁来被注意”这件事翻了过来。常规 Transformer
把位置当 token、把通道当特征；而这里更像是把通道当成被建模的变量，把位置当成这些
变量沿序列展开的观测轴。

优势
+++

- 在 one-hot 输入上非常高效；
- 和 CNN、标准 Transformer 都不是同一种思路；
- 不是简单的加速版，而是角度完全不同的重解释。

计算复杂度与适用范围
+++++++++++++++++++++

- 时间复杂度：核心注意力代价更多取决于通道数，而不是原始序列长度，这对 5 通道 one-hot 输入非常有利。
- 显存特征：通常明显轻于位置维自注意力，因为避开了昂贵的位置两两交互矩阵。
- 适用范围：尤其适合保持接近原始 one-hot 表示、并且希望强调通道间结构关系的建模场景。

局限
+++

- 它牺牲了经典 token-to-token 注意力视角；
- 是否有效取决于通道间结构是否足以承载强任务信号。

.. image:: ../img/div.png