大型语言模型 (LLM) 在许多基准测试中实现了超人的性能，导致人们对能够采取行动、自我反思和阅读文档的 LLM 代理的兴趣激增。 

尽管这些代理在软件工程和科学发现等领域表现出了潜力，但它们在网络安全方面的能力在很大程度上仍未得到开发。 

网络安全研究人员 Richard Fang、Rohan Bindu、Akul Gupta 和 Daniel Kang 最近发现 GPT-4 可以利用 87% 的一日漏洞，这是一个重大进步。

GPT-4 和一日漏洞

从 CVE 数据库和学术论文中收集了 15 个真实世界一日漏洞的基准，包括易受攻击的网站、容器管理软件和 Python 包。

研究人员创建了一个 LLM 代理，可以利用其收集的基准测试中 87% 的一日漏洞。

该代理只有 91 行代码，可以访问工具、CVE 描述和 ReAct 代理框架。 

GPT-4 取得了 87% 的成功率，优于其他LLM和开源漏洞扫描程序，后者的成功率为 0%。

如果没有 CVE 描述，GPT-4 的成功率下降至 7%，这表明它有能力利用已知漏洞而不是寻找新漏洞。 

该手稿描述了漏洞数据集、代理及其评估，探索了LLM破解现实世界一日漏洞的能力。

为了确定 LLM 代理是否可以利用现实世界的计算机系统，研究人员根据 CVE 和学术论文制定了 15 个现实世界漏洞的基准。 

对于闭源软件或不明确描述的不可行漏洞，从开源CVE中获取了包括ACIDRain漏洞在内的14个漏洞。

这些漏洞涵盖网站、容器和Python 包，其中一半以上的漏洞具有高或严重的严重性。

重要的是，过去 GPT-4 知识截止日期的 73% 是在这些漏洞中观察到的，而不是玩具“夺旗”式的漏洞，以进行实际评估。

LLM代理的系统图（来源 – Arxiv）

文章原文链接:https://www.anquanke.com/post/id/295914