混合模型

切换语言: Hybrid Models

本页覆盖两个混合架构：M11 和 M12。

为什么会有混合路线

混合模型建立在一个很实际的判断上：不同架构擅长的事情不同。

• CNN 擅长局部 motif 抽取；

• BiLSTM 擅长顺序上下文累积；

• Transformer 擅长全局交互建模。

混合架构的目的就是把这些优势组合起来，而不是要求单一模型家族包打天下。

M11：CNN + BiLSTM

M11 先用 CNN 做局部特征与序列压缩，再交给 BiLSTM 处理压缩后的特征序列。

• CNN 负责局部模式检测

• BiLSTM 负责压缩后序列上的顺序依赖

M12：CNN + Transformer

M12 保留相同的 CNN 前端，但后面接标准 Transformer。

• CNN 负责压缩长度、提取局部模式

• Transformer 负责在更短的 token 序列上做全局交互

为什么混合架构重要

它检验了一个非常实际的问题：在这个任务里，架构组合是否比“纯 CNN”或“纯 Transformer” 更有效。很多序列问题里，答案往往是肯定的，因为：

• 前端局部检测器擅长 motif 发现；

• 后端上下文模块擅长在更抽象的特征层面推理。