MAE 预训练模型
==============

切换语言: :doc:`../en/MAEModel`

``M14`` 是当前仓库中的自监督预训练路线。

核心思想
+++++++++++++++++++++++++++++

它采用 Masked Autoencoder 风格流程：

1. 遮蔽大比例序列 patch；
2. 只编码可见部分；
3. 重建被遮蔽内容；
4. 用学到的编码器做有监督 EPI 分类。

其重建目标可以写成：

.. math::

   \mathcal{L}_{\mathrm{MAE}} =
   \frac{1}{|\mathcal{M}|}\sum_{i \in \mathcal{M}}
   \ell(\hat{x}_i, x_i)

其中 :math:`\mathcal{M}` 是被 mask 的 patch 集合，:math:`\ell` 用来衡量重建结果
与真实内容之间的差异。

它和 M13 的区别
+++++++++++++++

``M13`` 引入的是外部大规模预训练基因组先验。  
``M14`` 则是在当前项目自身的数据分布上，通过自监督方式学习更贴近任务的表示。

为什么这一页重要
+++++++++++++++++++++++++++++

在调控基因组问题里，标签通常珍贵且有限，因此自监督路线很有吸引力，因为它可以：

- 从未标注或弱标注序列中提取结构；
- 让表示更贴近本项目数据分布；
- 在“完全从零训练”和“直接用外部 foundation model”之间提供第三条路线。

实现逻辑
+++++++++++++++++++++++++++++

- 编码器：Transformer 风格序列编码器
- 预训练目标：mask reconstruction
- 微调目标：enhancer-promoter 配对分类

也就是说，这个编码器会先在无监督条件下学习“序列结构长什么样”，然后再被迁移到有监督
的配对分类任务上。

项目中的作用
+++++++++++++++++++++++++++++

``M14`` 让项目的表示学习光谱更完整：

- 从零训练基线；
- 高级序列模型；
- 外部基础模型；
- 项目内自监督预训练。

计算复杂度与适用范围
+++++++++++++++++++++

- 时间复杂度：通常明显高于直接监督训练，因为要先做重建式预训练，再做下游微调。
- 显存特征：预训练阶段加上后续微调，使其整体代价高于单纯任务头训练路线。
- 适用范围：适合拥有较多无标注序列、并愿意为更强项目内表示学习投入额外训练成本的情况。

.. image:: ../img/div.png