Neologism Learning for Controllability and Self-Verbalization：通过新词嵌入实现LLM可控性与自我解释
2025年10月提交。提出新词学习（neologism learning）方法：为LLM添加新词嵌入，仅用示例训练该嵌入而不改变其他参数，即可控制模型行为（如避免奉承、控制输出长度）。模型还能用自然语言描述新词含义（自我言语化），且这些描述可插入上下文以复现控制效果。发现‘机器专属同义词’——对人类无意义但对模型行为相似的词。
Development
- First ReportNeologism Learning for Controllability and Self-Verbalization：通过新词嵌入实现LLM可控性与自我解释arXiv cs.AI
- Current Assessment该方法为AI安全和对齐提供新工具：可通过新词嵌入实现‘隐形’控制，避免提示注入攻击。同时，自我言语化可用于模型审计，帮助开发者理解模型内部概念。在商业上，可应用于内容审核、个性化生成等场景，实现低成本行为定制。Agent Pulse · analysis
该论文提出一种轻量级、可解释的LLM控制方法，通过引入新词嵌入实现细粒度行为调控，无需微调或提示工程。新词学习不仅提供控制能力，还让模型‘说出’其内部表征，为理解模型行为开辟新途径。‘机器专属同义词’的发现暗示模型内部存在人类难以直接映射的概念空间。
方法核心：在LLM词表中添加一个新词，随机初始化其嵌入向量，然后用少量示例（如‘当出现这个词时，回答要简洁’）训练该嵌入，保持模型其他参数冻结。训练后，该新词可像普通token一样使用，触发目标行为。自我言语化：让模型用自然语言解释新词含义，例如‘这个词代表不完整、不连贯的答案’。验证方法：将言语化描述插入上下文，测量是否产生类似控制效果。实验覆盖奉承、错误答案、文本长度等概念，并在AxBench上验证复杂概念。关键发现：不同模型对同一新词可能产生不同言语化，且存在人类无法理解但模型行为一致的‘机器同义词’。
该方法为AI安全和对齐提供新工具：可通过新词嵌入实现‘隐形’控制，避免提示注入攻击。同时，自我言语化可用于模型审计，帮助开发者理解模型内部概念。在商业上，可应用于内容审核、个性化生成等场景，实现低成本行为定制。
建议AI安全公司探索将新词学习集成到模型防护中，作为对抗提示注入的补充手段。对于LLM应用开发者，可用该方法快速调整模型行为，避免昂贵的微调。投资机构应关注该技术在AI可解释性和控制领域的商业化潜力。
需研究新词嵌入的泛化性（跨模型、跨任务）、多词联合学习的效果，以及‘机器同义词’的潜在风险（如隐藏后门）。若该方法可扩展至大型模型，可能改变AI部署的安全实践。