AI产品库
Promptfoo Logo

AI 安全测试与评测

Promptfoo

开源的大模型红队测试与评测工具

官方把它定位为「构建安全 AI 应用」的工具集:覆盖红队测试、实时护栏、模型安全、MCP 代理、代码扫描与评测六块能力,既可在本地或自有基础设施上运行,也提供托管云与本地部署两种企业形态。

深度介绍

Promptfoo详细介绍

🛡

定位:把安全测试做进开发流程

Promptfoo 的口号是「上线智能体,而不是漏洞」,官网强调它把 AI 安全测试嵌入开发工作流,从接入到修复形成闭环。官方给出的采用口径是「财富 500 强中有 156 家在其 AI 开发流程中使用」——这类数字来自厂商自述,但足以说明它面向的是企业级场景而非个人试验。产品由六块组成:红队测试、实时护栏、模型安全、MCP 代理、代码扫描与评测,既有开源命令行工具,也有托管与本地部署的企业形态。

🎯

红队:自动模拟真实用户去找漏洞

红队测试是官网首推的能力:它模拟真实用户的行为去发现「应用特有」的漏洞,而不是套用通用清单。官方列出的攻击面包括直接与间接提示注入、针对你自家护栏定制的越狱、数据与个人信息泄露、业务规则违例、智能体中工具调用的不安全使用以及有毒内容生成等。上手方式很直接——一条 npx 命令即可初始化红队配置。社区版每月包含 1 万次探测额度,企业版可自定义上限,适合先做基线扫描再决定是否扩容。

🧪

评测:批量测试提示词、模型与 RAG

评测部分面向日常开发:批量测试不同提示词、不同模型与 RAG 流程的表现,官方称支持市面上主要的模型供应商与集成方式。与只做单次试跑的工具不同,它以配置驱动的方式把测试固化成可重复执行的用例,因而能放进 CI 里做回归;配合红队使用,可以同时回答「效果有没有变差」与「安全性有没有退化」两个问题,这也是它常被放在发布门禁位置的原因。

🚧

护栏与模型安全:从测试延伸到运行时

除离线测试外,产品线还包括实时护栏与模型安全:前者针对越狱与对抗性攻击提供运行时的防护,后者负责模型层面的安全测试与持续监控。这条延伸意味着它不只回答「有没有漏洞」,还参与「线上怎么挡住」。对已经在生产环境运行对话或智能体的团队,把扫描结果与运行时防护对齐,比只在发布前扫一遍更接近实际需要——但要留意这类防护通常会带来额外的延迟与成本。

🔌

MCP 代理与代码扫描

另外两块能力针对较新的工程场景:MCP 代理为 Model Context Protocol 的通信提供安全代理,用于加固智能体与工具之间的调用链路;代码扫描则把 LLM 漏洞检查放进 IDE 与 CI/CD,让问题在编码阶段就暴露,而不是等到上线后由安全团队发现。把检查左移的收益是修复成本更低,代价是需要在开发者工具链里增加一处配置——对已经在用 CI 的团队,接入成本通常可控。

🏢

企业能力:从看板到修复跟踪

企业版在社区版之上补齐了团队与治理所需的部分:跨项目的报告与持续监控、问题跟踪与修复引导、对齐行业框架的合规扫描、组织级的插件集合与扫描配置共享,以及团队权限控制、单点登录与细粒度权限、API 访问、托管云部署和专业服务支持,并附服务级别协议。本地部署版在此之上提供在自有基础设施上部署、完全的数据隔离、专属运行器与指派部署工程师,适合数据不允许外流的组织。

🏦

行业方案:金融、保险、电信与房地产

官网按行业给出落地方案:金融服务业提供对齐监管要求(如 FINRA)的安全测试;保险业关注投保人数据与保额说明的准确性;电信业面向语音与文本智能体的安全;房地产则用于公平住房相关的合规测试。把这些场景单独列出,说明它的红队测试并非只做技术层面的注入测试,还要处理行业规则与合规口径——这在受监管行业里往往是采购的决定性因素。

📦

开源基础:MIT 许可与活跃仓库

社区版是开源项目,代码托管在 GitHub,采用 MIT 许可,核验时约有 2.53 万个 star,主仓库在 2026 年 9 月 21 日仍有提交;官网也标注了相同的 star 数。MIT 许可意味着可以自由集成到内部流程中,甚至可以自行修改扫描逻辑。需要区分的是:社区版功能完整但支持依靠社区;企业版与本地部署版才是包含 SSO、持续监控、合规看板、SLA 与专属工程师的商业形态,采购时应按治理需求而非功能数量来选择。

产品特点

核心功能与独有价值

01

红队测试与应用特有攻击面

模拟真实用户去发现应用特有漏洞,覆盖直接与间接提示注入、针对自家护栏定制的越狱、数据与个人信息泄露、业务规则违例与智能体工具调用风险等。

02

评测与安全测试同源

同一套配置既能批量评测提示词、模型与 RAG 流程的质量,也能运行红队扫描,便于在 CI 中同时把住效果与安全两道门禁。

03

从开发到运行时的覆盖面

能力延伸到运行时:实时护栏防越狱与对抗攻击、模型安全负责测试与监控,另提供 MCP 通信代理与 IDE、CI 中的代码扫描,形成左移与右防的组合。

04

开源社区版加企业治理能力

社区版以 MIT 许可开源、含每月 1 万次红队探测并可自托管;企业版与本地部署版补齐 SSO、持续监控、合规看板、修复跟踪、API 与 SLA,本地部署版提供完整数据隔离。

最近动态

重要更新

三档方案与额度(价格页核验时点)

价格页当前列出社区版(永久免费,含全部评测功能、全部模型供应商与集成、每月 1 万次红队探测、可本地运行或自托管、社区支持)、企业版(自定义红队上限、团队协作、持续监控、合规看板、自定义攻击配置、SSO 与细粒度权限、API、托管云、专业服务与 SLA)与本地部署版(在自有基础设施部署、完整数据隔离、专属运行器与指派工程师)。

六条产品线(官网核验时点)

官网当前把能力分为红队测试、护栏、模型安全、MCP 代理、代码扫描与评测六块,并给出采用口径:财富 500 强中有 156 家在其 AI 开发流程中使用 Promptfoo。该数字为厂商自述,采购时建议以自测结果为准。

行业方案与合规关注点(核验时点)

官网按行业列出的方案包括金融服务业的对齐监管测试、保险业的投保人数据与保额准确性、电信业的语音与文本智能体安全,以及房地产的公平住房合规测试,显示其红队能力已按行业规则做了场景化封装。

开源仓库状态(核验时点)

开源仓库采用 MIT 许可,核验时约有 2.53 万个 star,主仓库在 2026 年 9 月 21 日仍有提交;官网展示的 star 数与仓库一致,说明社区版与商业版共用同一代码主线。

产品总结

Promptfoo 是一个面向大模型应用的安全测试与评测工具,官网的口号是「上线智能体,而不是漏洞」,并强调把 AI 安全测试嵌进开发工作流。它的能力分为六块:红队测试、实时护栏、模型安全、MCP 代理、代码扫描与评测。红队测试是首推能力,做法是模拟真实用户去发现应用特有的漏洞,官方列出的攻击面包括直接与间接提示注入、针对自家护栏定制的越狱、数据与个人信息泄露、业务规则违例、智能体中工具调用的不安全使用以及有毒内容生成等,上手只需一条 npx 命令。评测部分则用于批量测试提示词、模型与 RAG 流程,配合红队可在 CI 中同时把住效果与安全两道门禁。 其余几条线把覆盖面向运行时与开发链路延伸:实时护栏针对越狱与对抗攻击提供运行时防护,模型安全负责模型层面的测试与持续监控,MCP 代理为 Model Context Protocol 的通信提供安全代理,代码扫描把 LLM 漏洞检查放进 IDE 与 CI/CD。官方给出的采用口径是财富 500 强中有 156 家在其 AI 开发流程中使用——该数字来自厂商自述,实际效果建议自测。行业方案方面,官网列出了金融(对齐监管要求)、保险(投保人数据与保额准确性)、电信(语音与文本智能体安全)与房地产(公平住房合规)等场景。 计费分三档:社区版永久免费,包含全部评测功能、全部模型供应商与集成、每月 1 万次红队探测,可在本地运行或自行托管,支持依靠社区;企业版按需报价,补齐自定义红队上限、团队协作、持续监控、集中式安全与合规看板、自定义攻击配置与目标设置、单点登录与细粒度权限、API 访问、托管云部署、专业服务与支持 SLA;本地部署版同样按需报价,在自有基础设施上部署,提供完整数据隔离、专属运行器与指派部署工程师。 开源基础方面,社区版采用 MIT 许可,核验时仓库约有 2.53 万个 star,主仓库在 2026 年 9 月 21 日仍有提交。采购建议按治理需求而非法条数量选择:如果只需要扫描与评测,社区版即可满足并保持数据完全自控;如果需要持续监控、修复跟踪、合规看板与责任承诺,则企业版或本地部署版更合适。无论选哪一档,红队探测额度与攻击面覆盖都会随版本迭代变化,上线前应把扫描结果与真实流量下的表现做一次对照。

产品类型
AI 安全测试与评测
支持平台
命令行工具(npx 直接运行) / 本地运行与自托管 / CI/CD 集成 / IDE 代码扫描插件 / 托管云(企业版) / 本地部署与专属运行器(本地部署版)
资费模式
社区版永久免费(含全部评测功能与每月 1 万次红队探测),企业版与本地部署按需报价,提供 SSO、持续监控与合规看板。

核验信息

参考文章与数据来源

本页事实来自 Promptfoo 官方渠道:官网首页(「上线智能体,而不是漏洞」的定位、六条产品线、红队测试的攻击面清单与 npx 上手方式、财富 500 强采用口径、行业方案入口、star 数展示)、价格页(社区版、企业版与本地部署版的权益划分,包括每月 1 万次红队探测、持续监控、合规看板、SSO、API 与数据隔离等)、红队测试文档与官方文档入口、官方博客与控制台入口,以及 GitHub 仓库的许可、star 与提交时间。为避免违反内容规则,首页集成品牌列表中的受限名称未在本页列出;采用数量为厂商自述,已如实标注。信息核验于 2026 年 9 月 22 日,请以官方当期说明为准。

  1. 官网Promptfoo 官网
  2. 官方文档官方文档
  3. 官方文档官方文档 · 红队测试
  4. 其他官方价格与方案
  5. 其他官方仓库(MIT 许可)
  6. 其他控制台入口
  7. 其他官方博客
  8. 其他官方开源组织

用户体验调查

Promptfoo介绍页面对您是否有帮助?