Self-Instruct: Aligning Language Models with Self-Generated Instructions：指令微调的自举革命
2022年12月，华盛顿大学等机构提出Self-Instruct框架，通过让语言模型自生成指令、输入和输出样本，经筛选后用于微调原始模型。在GPT3上应用后，在Super-NaturalInstructions上取得33%绝对提升，性能与使用人工标注的InstructGPT-001相当。
Development
- First ReportSelf-Instruct: Aligning Language Models with Self-Generated Instructions：指令微调的自举革命arXiv cs.AI
- Current AssessmentSelf-Instruct大幅降低了指令微调的数据成本，使中小团队也能构建高质量指令模型。它推动了开源指令数据集（如Alpaca数据）的生成，加速了LLM在客服、内容生成、教育等领域的应用落地。同时，对数据标注行业形成冲击，但可能催生模型生成数据的质量评估新需求。Agent Pulse · analysis
Self-Instruct解决了指令微调依赖人工编写数据的瓶颈，通过模型自举生成大规模多样化指令数据，显著提升了模型遵循指令的能力。该方法几乎无需人工标注，为对齐研究提供了低成本、可扩展的新范式，对后续Alpaca等模型产生直接影响。
Self-Instruct流程包括：1) 使用少量种子指令（175条）引导模型生成新指令；2) 对指令分类（分类/非分类）并生成输入输出；3) 过滤低质量、重复或无效样本；4) 用最终数据集微调原始模型。实验表明，GPT3经Self-Instruct微调后，在Super-NaturalInstructions上从原始GPT3的约25%提升至约58%，接近InstructGPT-001的约60%。关键边界在于生成质量依赖基座模型能力，且过滤规则可能限制多样性。
Self-Instruct大幅降低了指令微调的数据成本，使中小团队也能构建高质量指令模型。它推动了开源指令数据集（如Alpaca数据）的生成，加速了LLM在客服、内容生成、教育等领域的应用落地。同时，对数据标注行业形成冲击，但可能催生模型生成数据的质量评估新需求。
建议LLM开发团队采用Self-Instruct作为指令数据生成的标准流程，降低对人工标注的依赖。可探索将Self-Instruct与RLHF结合，进一步提升对齐效果。投资关注提供Self-Instruct工具链或基于该技术构建垂直领域指令模型的初创公司。
后续需关注Self-Instruct生成数据的偏差和毒性问题，以及如何结合人类反馈进一步优化。安全方面，自举可能放大模型固有偏见，需开发更鲁棒的过滤机制。商业上，该技术可被集成到LLM训练平台中，实现自动化数据飞轮。