MAE 预训练模型
切换语言: MAE Pretraining Model
M14 是当前仓库中的自监督预训练路线。
核心思想
它采用 Masked Autoencoder 风格流程：
遮蔽大比例序列 patch；
只编码可见部分；
重建被遮蔽内容；
用学到的编码器做有监督 EPI 分类。
其重建目标可以写成：
\[\mathcal{L}_{\mathrm{MAE}} =
\frac{1}{|\mathcal{M}|}\sum_{i \in \mathcal{M}}
\ell(\hat{x}_i, x_i)\]
其中 \(\mathcal{M}\) 是被 mask 的 patch 集合，\(\ell\) 用来衡量重建结果 与真实内容之间的差异。
它和 M13 的区别
M13 引入的是外部大规模预训练基因组先验。
M14 则是在当前项目自身的数据分布上，通过自监督方式学习更贴近任务的表示。
为什么这一页重要
在调控基因组问题里，标签通常珍贵且有限，因此自监督路线很有吸引力，因为它可以：
从未标注或弱标注序列中提取结构；
让表示更贴近本项目数据分布；
在“完全从零训练”和“直接用外部 foundation model”之间提供第三条路线。
实现逻辑
编码器：Transformer 风格序列编码器
预训练目标：mask reconstruction
微调目标：enhancer-promoter 配对分类
也就是说，这个编码器会先在无监督条件下学习“序列结构长什么样”，然后再被迁移到有监督 的配对分类任务上。
项目中的作用
M14 让项目的表示学习光谱更完整：
从零训练基线；
高级序列模型；
外部基础模型；
项目内自监督预训练。
计算复杂度与适用范围
时间复杂度：通常明显高于直接监督训练，因为要先做重建式预训练，再做下游微调。
显存特征：预训练阶段加上后续微调，使其整体代价高于单纯任务头训练路线。
适用范围：适合拥有较多无标注序列、并愿意为更强项目内表示学习投入额外训练成本的情况。
