实验设计

切换语言: Experiments

实验组织思路

这个项目不是只实现一个模型，而是以结构化 benchmark 的方式组织。TASK.md 中已经把工作拆分为模型矩阵、融合消融和跨细胞系泛化分析。

主实验矩阵

当前计划包含 E01 到 E16：

• E01: M1 单路 CNN 基线

• E02: M2 双路 CNN 基线

• E03: M2 + concat_sub_mul 融合

• E04: M3 k-mer + CNN

• E05: M4 BiLSTM

• E06: M6 标准 Transformer

• E07: M11 CNN + BiLSTM

• E08: M12 CNN + Transformer

• E09: M13 DNABERT-2 frozen

• E10: M13 HyenaDNA fine-tune

• E11: M9 Mamba

• E12: M7 Linear Transformer

• E13: M8 iTransformer

• E14: M10 RWKV

• E15: M5 mLSTM

• E16: M14 MAE 预训练 + 微调

融合策略消融

融合策略本身也是研究维度之一，当前规划包括：

• F01: concat

• F02: add

• F03: subtract

• F04: multiply

• F05: bilinear

• F06: concat_sub_mul

为什么这个对比重要

EPI 本质上是配对建模问题。即使单路编码器很强，如果 enhancer 与 promoter 的 组合表示不足，最终效果仍然会受限。因此这个项目显式拆开两个问题：

• 序列编码器本身是否足够强；

• enhancer 与 promoter 特征的融合方式是否足够有效。

随机种子策略与可复现性

每个实验计划运行五个随机种子：

• seed 0

• seed 1

• seed 2

• seed 3

• seed 4

这样可以降低偶然性，避免只根据单次运行结果下结论。

每个实验的预期输出

每个 seed 目录都应保存：

• 配置快照；

• checkpoint；

• 训练历史；

• 测试指标；

• ROC 曲线；

• PR 曲线。

实验层面则进一步汇总均值和标准差。

展示价值

这样的实验设计体现的不只是“把模型写出来”，还包括：

• 对基线的保留；

• 对模型扩展的系统性；

• 对可复现训练组织的重视；

• 对消融实验的明确规划；

• 对序列建模比较研究的实际可操作性。