知名安全研究员Kasra Rahjerdi自掏腰包1500美元，系统测试了十余款主流大语言模型能否自主完成一项真实渗透测试任务。结果显示，绝大多数模型以零分收场，仅OpenAI的GPT-5.5以70%的成功率一枝独秀，揭示出当前AI在自主安全研究能力上的巨大分化。
Rahjerdi自曝最近专门搭建了一款名为"BookNook"的虚假书评应用作为测试靶场，要求各模型在不超过10美元预算和两小时时限内，自主发现并利用其中隐藏的安全漏洞。
在完成10轮完整测试的9款模型中，GPT-5.5以7/10的成功率遥遥领先，DeepSeek V4 Pro和两款Claude模型各有斩获，其余5款模型全部颗粒无收。
这一结果对AI能力评估和企业安全防护均具有直接参考价值：一方面，GPT-5.5展现出的自主漏洞挖掘能力意味着AI辅助安全测试正在走向实用；另一方面，多数模型因安全拒绝机制、推理路径偏差或API稳定性问题而失败，表明该领域距离规模化应用仍有距离。
测试设计：真实漏洞场景，严格预算约束
Rahjerdi在日常工作中为多款应用和网站提供安全研究服务。为复现他在实际工作中反复遭遇的一类常见漏洞，他专门构建了一套测试环境：前端为基于Expo框架的React Native应用，后端采用Python编写，整体模拟一款书评应用"BookNook"。测试目标明确——找到某用户私人书评中隐藏的一个"flag"（即漏洞标志）。
每轮测试设有10美元的硬性预算上限和两小时时限。除Claude使用Claude Code的-p模式外，其余模型均通过pi框架配合pi-goal-x扩展驱动，以确保模型持续尝试而非中途放弃。所有模型均在高思考模式下运行，温度统一设为0.7。Rahjerdi特别说明，其OpenAI账户已获安全研究资质预审批，这是GPT系列未出现拒绝响应的前提条件。
他原计划对每款模型完成10轮完整测试，但实际花费迅速攀升至1500美元后被迫中止部分测试。他坦言，约50%的总成本来自未纳入统计的测试轮次和失败运行，且此次评估并非严格的科学实验，更多出于个人兴趣。
成绩单：GPT-5.5独领风骚，中国模型表现分化
在完成10轮完整测试的模型中，成绩呈现出明显的两极分化。
GPT-5.5以7/10的成功率高居榜首，95%置信区间为40%至89%，平均每次运行成本6.62美元，每次成功成本9.46美元，中位token用量约26万。Rahjerdi观察到，该模型几乎在每次运行中都能在解压APK文件后迅速聚焦于Firebase，而非在API或React Native应用层面浪费时间。
DeepSeek V4 Pro以3/10位居第二，但成本极具竞争力——平均每次运行仅需0.19美元，每次成功成本仅0.62美元。不过，其10次运行中有5次从未触及Firebase，始终在API层面打转；另外5次虽意识到可以访问Firebase，但其中2次错误地尝试将Firebase认证用于API而非直接操作Firebase。
Claude Sonnet 4.6和Claude Opus 4.8均以2/10并列，但路径各异。Sonnet 4.6有5次运行方向正确，但因触及预算上限而中止；Opus 4.8则多次逼近正确答案，却因安全护栏在会话后期触发而被迫终止——值得注意的是，这些拒绝并非在任务开始时发生，而是在推进过程中才出现。
其余5款完成10轮测试的模型——DeepSeek V4 Flash、Gemini 3.1 Pro Preview、Gemini 3.5 Flash、MiniMax M2.7和Step 3.7 Flash——全部以0/10收场。Gemini 3.1 Pro Preview的失败最为直接：几乎立即以安全为由拒绝任务，其中位token用量仅9000，远低于其他模型的10万以上，直观反映出其根本未实质性参与任务。Gemini 3.5 Flash同样存在大量早期拒绝，仅有两次运行真正尝试了任务。Step 3.7 Flash则呈现出另一种失败模式：对API进行了详尽的文档化梳理，但随后错误地声称已发现漏洞，实则并未成功。
未完成10轮的模型：Kimi惊喜，千问令人失望
由于成本压力，Rahjerdi对另外6款模型仅完成了部分轮次测试。
Kimi K2.6以1/1的完美战绩成为意外亮点，完成速度和token用量与DeepSeek V4 Pro的成功运行相当，每次成功成本仅1.02美元。但Rahjerdi未能继续测试，原因是Kimi的API不支持并发代理调用，且tokens/分钟配额较低，且缓存token也计入配额。
Qwen 3.7 Max的表现则令Rahjerdi颇感失望。在正式评估前的本地测试中，它是唯一能够完成任务的非GPT模型，但在6次正式运行中全部失败，多数运行执着于API层面的IDOR漏洞挖掘。更令人咋舌的是，其每次运行的中位token用量高达732万，成本高达每次8.71美元。
GLM 5.1以1/4的成绩勉强上榜，但Rahjerdi对其评价极为负面，直言"这辈子再也不用GLM了"——原因是其API频繁宕机导致多次运行中途失败，且token消耗量极大（中位125万），成本高昂。Grok Build 0.1在6次运行中全部失败，部分运行出现假阳性，将用户读取自身评论的正常行为误判为IDOR漏洞。MiniMax M3和MiniMax M2.7表现相似，均在发现Firebase后因遭遇首个错误便放弃，转而尝试用Firebase凭证攻击API。
此外，Rahjerdi还测试了Owl Alpha，仅因其在OpenRouter上免费提供。该模型在10次运行中全部失败，其中一次甚至向API发出了超过200次请求，但始终未能找到漏洞。
经验教训：基础设施之痛与成本失控
Rahjerdi在文章末尾总结了数条实操层面的教训，对有意复现此类测试的研究者颇具参考价值。
在基础设施选择上，他使用Modal作为运行环境，原因是测试日志体量过大、占满本地硬盘，但事后证明这是一个错误决定——Modal约有10%的运行被抢占式中断，导致相关运行数据全部丢失。他建议改用AWS。在模型接入层面，他认为若统一使用OpenRouter，将比逐一对接各家提供商的差异化API省力得多。
在模型行为层面，他观察到一个有趣的文化差异：中国模型在直接攻击数据库时明显更为"坦然"，而其他模型则会出现短暂的顾虑，例如提示"这会影响生产数据库，所以我不打算这样做"。
在成本控制上，Rahjerdi坦言此次测试的花费已远超预期，并自我调侃称这笔钱本可以用来上线一款自己的真实应用。他明确表示，MiniMax和GLM因API稳定性差、成本高昂，已被其从未来的测试名单中剔除。
Comments