Large Language Models Are Human-Level Prompt Engineers：APE实现自动提示工程，超越人类水平
2022年11月提交。提出Automatic Prompt Engineer (APE)，将提示视为程序，由LLM生成候选指令，再通过搜索最大化评分函数自动选择最优指令。在24个NLP任务上，自动生成的指令零样本性能大幅超越LLM基线，并在19/24个任务上达到或超过人类编写的指令。
Development
- First ReportLarge Language Models Are Human-Level Prompt Engineers：APE实现自动提示工程，超越人类水平arXiv cs.AI
- Current Assessment提示工程是当前LLM应用的核心瓶颈，APE自动化后，企业无需雇佣专业提示工程师即可高效使用LLM。可应用于客服、内容生成、代码辅助等场景，降低人力成本并提升任务效果。同时，APE可用于自动生成安全对齐提示，减少有害输出。Agent Pulse · analysis
APE首次将提示工程自动化，利用LLM自身生成和评估提示，实现了超越人类专家的提示设计能力。该方法不仅提升了零样本任务性能，还能引导模型趋向真实性和信息性，并可通过简单前缀提升少样本学习效果。这标志着LLM应用从依赖人工提示转向自动优化，极大降低了使用门槛。
APE包含两个阶段：首先，使用一个LLM（如GPT-3）根据任务描述生成大量候选指令（例如通过前向生成或反向翻译）；然后，在验证集上计算每个指令的评分函数（如准确率），并选择最优指令。评分函数可自定义，例如针对真实性或信息性。实验覆盖24个NLP任务，包括推理、情感分析、问答等。自动指令在零样本设置下平均超越手动指令约5-10%，在19个任务上达到或超越人类水平。此外，将自动指令作为前缀加入少样本提示中，可进一步提升性能。局限性在于依赖LLM生成候选指令的质量，且搜索空间随指令长度指数增长，但实际中通过采样和过滤可有效控制。
提示工程是当前LLM应用的核心瓶颈，APE自动化后，企业无需雇佣专业提示工程师即可高效使用LLM。可应用于客服、内容生成、代码辅助等场景，降低人力成本并提升任务效果。同时，APE可用于自动生成安全对齐提示，减少有害输出。
建议AI平台集成APE作为自动提示优化工具，向企业客户提供一键式提示优化服务。可开发基于APE的SaaS产品，帮助用户自动生成高效提示，提升LLM应用效果。
未来需关注APE在多模态LLM上的扩展，以及动态提示优化（根据用户反馈实时调整）。其搜索效率可通过强化学习进一步提升。部署时需注意计算成本（多次LLM调用），但相比人工成本仍具优势。