Jan 1, 2025 · Big-Vul研究
Can Open Large Language Models Catch Vulnerabilities?：开源LLM检测漏洞强但分类弱，安全部署需谨慎
2025年1月，一项研究系统评估了Llama3、Codestral和Deepseek R1在Big-Vul数据集上的漏洞检测与分类能力。结果显示，这些模型在检测漏洞方面表现良好，但在按CWE标准分类时准确率低，存在过度泛化和误分类问题。研究揭示了模型特定偏差和常见失败模式，强调在安全敏感环境中部署前需解决这些局限。
EVENT STORY
Development
- First ReportCan Open Large Language Models Catch Vulnerabilities?：开源LLM检测漏洞强但分类弱，安全部署需谨慎arXiv cs.AI
- Current Assessment对安全行业，该研究提醒LLM驱动的代码审计工具需谨慎部署，尤其是自动分类功能。安全厂商应开发混合系统，结合LLM检测和传统规则/专家系统分类。教育领域，LLM作为编程助教可能传播错误的安全知识，需设计辅助材料纠正偏差。Agent Pulse · analysis
该研究揭示了开源LLM在安全领域的双面性：检测能力强但分类能力弱。这意味着模型可能误报或漏报特定类型漏洞，导致安全团队误判。对于依赖LLM进行代码审计的企业，这一发现警示不能完全信任模型的分类结果，需结合人工审查。研究还指出教育场景中LLM作为学习工具的潜在风险。
研究采用Big-Vul数据集的子集，包含8个CWE类别，在封闭世界分类设置下评估。模型在检测（二分类）上表现良好，但在多分类（映射到正确CWE）上准确率低。分析显示模型倾向于过度泛化（如将多种漏洞归为同一CWE）和误分类（如将XSS误判为SQL注入）。模型特定偏差源于训练数据分布和架构差异。边界：数据集仅覆盖8个CWE，且为英文，实际场景中更多样。
对安全行业，该研究提醒LLM驱动的代码审计工具需谨慎部署，尤其是自动分类功能。安全厂商应开发混合系统，结合LLM检测和传统规则/专家系统分类。教育领域，LLM作为编程助教可能传播错误的安全知识，需设计辅助材料纠正偏差。
建议安全团队在采用LLM代码审计工具时，仅将其作为辅助检测，分类结果需人工验证。投资可关注开发混合安全分析平台的公司。工程上，可对LLM进行领域微调以提升分类准确率。
需关注：1）改进LLM分类能力的方法，如微调或检索增强；2）更全面的基准测试，覆盖更多CWE和真实世界漏洞；3）模型在对抗性攻击下的鲁棒性；4）安全工具厂商如何整合这些发现。