Galactica: A Large Language Model for Science：Galactica科学大模型，重塑科研知识管理
2022年11月提交。Galactica是一个专门针对科学知识训练的大型语言模型，基于论文、参考资料、知识库等大规模科学语料。在LaTeX方程等知识探测任务上，准确率68.2%远超GPT-3的49.0%；在数学推理上超越Chinchilla和PaLM 540B；在PubMedQA和MedMCQA上达到SOTA。模型开源。
发展脉络
- 首次出现Galactica: A Large Language Model for Science：Galactica科学大模型，重塑科研知识管理arXiv cs.AI
- 当前判断Galactica可应用于科研文献自动摘要、实验方案生成、药物分子设计、数学定理证明等。对于制药、材料科学、学术出版等行业，可大幅提升知识检索和生成效率。开源特性使得科研机构可定制化部署。Agent Pulse · 分析
Galactica是首个专为科学领域设计的大语言模型，能够存储、组合和推理科学知识。其在数学、医学等科学任务上显著超越通用大模型，证明了领域专用LLM的潜力。Galactica有望成为科学家的新工具，辅助文献检索、实验设计、知识发现，甚至自动生成论文。
Galactica基于Transformer架构，参数量未明确但推测为120B左右（根据论文描述）。训练数据包括4800万篇论文、知识库（如Wiki、StackExchange）、教科书、代码等，并特别处理了LaTeX、化学式、蛋白质序列等科学格式。使用因果语言建模目标。在MMLU数学子集上，Galactica准确率41.3%优于Chinchilla的35.7%；在MATH基准上20.4%远超PaLM 540B的8.8%。在PubMedQA上77.6%，MedMCQA上52.9%，均为SOTA。此外，在BIG-bench上超越BLOOM和OPT-175B。局限性在于训练数据截止2022年，且可能包含错误信息；推理时可能产生看似合理但错误的科学内容。
Galactica可应用于科研文献自动摘要、实验方案生成、药物分子设计、数学定理证明等。对于制药、材料科学、学术出版等行业，可大幅提升知识检索和生成效率。开源特性使得科研机构可定制化部署。
建议科研机构和药企部署Galactica用于文献挖掘和假设生成。可开发基于Galactica的科研助手产品，辅助研究人员快速获取领域知识。
未来需关注Galactica在真实科研工作流中的集成，如与文献管理工具、实验记录系统结合。其科学推理能力可通过检索增强（RAG）进一步提升。部署时需注意计算资源，但相比通用模型，科学任务上性价比更高。