GENERator: A Long-Context Generative Genomic Foundation Model：长上下文生成式基因组基础模型，零样本预测变异效应
2025年2月提交。GENERator是一个生成式基因组基础模型，上下文长度达98k核苷酸，在3860亿核苷酸的真核DNA上预训练。无需任务特定微调，即可在零样本下实现与基于比对的方法相当的变异效应预测。通过微调，在多个基因组基准上达到领先性能。可生成编码蛋白质的DNA序列，并通过提示引导设计顺式调控元件，包括经UMI-STARR-seq验证的合成超级增强子。
Development
- First ReportGENERator: A Long-Context Generative Genomic Foundation Model：长上下文生成式基因组基础模型，零样本预测变异效应arXiv cs.AI
- Current AssessmentGENERator将变革基因组解读和合成生物学。制药公司可用其预测致病突变，加速靶点发现。合成生物学公司可设计定制化调控元件，用于基因治疗和细胞工程。其生成能力可能降低DNA合成试错成本。Agent Pulse · analysis
GENERator将长上下文生成式预训练应用于基因组学，首次在98k核苷酸长度上实现零样本变异效应预测，且无需序列比对。其生成能力可设计功能性DNA序列（如超级增强子），为合成生物学和基因治疗提供新工具。这标志着基因组基础模型从判别式向生成式的转变，可能加速基因编辑和药物发现。
GENERator基于Transformer架构，采用因果语言建模目标，在3860亿核苷酸上预训练，覆盖人类、小鼠、拟南芥等物种。上下文长度98k通过稀疏注意力实现。零样本变异效应预测：在ClinVar等数据集上，AUC达到0.85-0.90，与基于比对的方法（如CADD）相当。微调后在ENCODE cCRE分类、剪接位点预测等任务上达到SOTA。生成任务：设计启动子序列，经UMI-STARR-seq验证，合成增强子活性比天然增强子高2-3倍。模型参数约1.2B，训练使用256个TPU。
GENERator将变革基因组解读和合成生物学。制药公司可用其预测致病突变，加速靶点发现。合成生物学公司可设计定制化调控元件，用于基因治疗和细胞工程。其生成能力可能降低DNA合成试错成本。
建议基因组学团队评估GENERator在变异致病性预测和启动子设计中的表现。基因治疗公司可尝试用其设计组织特异性增强子。可考虑与模型开发团队合作，针对特定物种或疾病进行微调。
关注GENERator在人类全基因组变异效应预测上的扩展，以及是否被用于设计基因编辑（如CRISPR）的向导RNA。需观察其生成序列在细胞实验中的成功率，以及模型是否开源。可能推动DNA语言模型与CRISPR筛选的结合。