生信碱移
线性模型大于深度学习？
人们对基础模型及其学习生物学的能力感到非常兴奋，但目前已有的模型可能被过分高估了！
先进的深度学习方法，如基于 transformer 的基础模型，被认为能够学习单细胞中的基因表征，这些表征可以用于预测未见实验的结果，例如预测基因扰动敲除对其它基因转录表达的影响。
▲ 一、基因扰动建模任务的概述：① 背景：我们有一个细胞的基因表达数据（绿色部分），它代表在正常情况下每个基因的活跃程度。如果对细胞进行一个或多个基因敲除扰动（红色部分，比如通过实验干预特定基因的活性），会导致一些基因表达水平发生变化（紫色部分），这种变化可能是增强、减弱或保持不变。② 目标：预测在某种基因扰动（红色）下，其它基因表达水平的变化（紫色）。
比较热门的scGPT和scFoundation，两个基于 transformer 架构的单细胞基础模型分别在超过3300万和5000万个单细胞上完成了训练，它们被设计用于细胞类型注释、基因网络推断及扰动预测等多种任务。在基因敲除扰动任务中，经典模型比如基于图神经网络的GEARS也被大部分人熟知。
▲ 二、GEARS原理示意：通过图神经网络（GNN）预测基因扰动后的基因表达变化。其核心方法包括利用基因共表达图捕获基因间相互作用，并结合基因本体（GO）中的先验知识构建图神经网络获得基因级别的嵌入，对基因扰动之间的相似性进行建模（图b）。随后，GEARS采用组合操作处理多基因扰动，使用跨基因解码器实现全转录组水平的预测。此外，其自动聚焦方向感知损失函数能够更关注显著差异表达的基因，并强化预测方向性的准确性。通过贝叶斯神经网络框架，GEARS还提供预测不确定性的估计。DOI: 10.1038/s41587-023-01905-6。
▲ 三、scGPT原理示意：scGPT是一种基于Transformer架构的单细胞转录组预训练模型，其核心流程分为生成式预训练与下游任务微调两阶段。模型通过3300万正常人类单细胞数据（涵盖9大器官）进行预训练，利用分层注意力机制（交替使用全局与局部基因交互建模）学习细胞与基因的通用表征。其输入采用三层嵌入融合策略，整合基因标记、表达值和实验条件信息，并通过分层标准化与残差连接优化训练稳定性。DOI: 10.1038/s41592-024-02201-0。
为了评估这些深度学习模型的性能，来自海德堡大学的研究人员开发了两种极具对比性的基线预测模型，"无变化模型no-change" 与"加性模型-Additive"：
简单来讲，"无变化模型"是一种最保守的预测，它假设任何基因扰动都不会改变细胞状态，即始终预测与未处理细胞
全相同的基因表达。与之相对， "加性模型" 则采用传统的线性思维，认为组合扰动敲除两个基因的效果，就是单独扰动每个基因效果的简单相加随后减去基线（
与
）
他们的研究结果表明，目前的扰动预测工具表现不如简单的"加性"线性模型。
▲ 四、比较结果：在简单的基因敲除扰动预测中，最常规的线性模型的误差是最小的。DOI: 10.1101/2024.09.16.613342。
想当年SVM暴杀神经网络
目前模型至少还是有机会提升的
未来可期？
欢迎点评关注
)
