当前平台内各类资源的运行状态
所选时间范围内评测活动的整体情况
展示最近评测任务的进度、状态与综合得分
集中管理和配置模型评估器。
对比模型回答与标准答案的语义一致性，适用于事实型问答场景。
判断智能体是否正确识别用户意图并路由到对应处理流程。
校验工具调用的参数名、类型与取值是否符合工具定义。
基于最长公共子序列计算生成文本与参考答案的相似度。
检测回答中是否存在敏感、违规或不当内容，保障输出安全。
评估智能体多步执行轨迹的合理性、冗余度与目标达成情况。
校验模型输出是否为合法 JSON 并符合预定义 Schema。
自定义评估器，按企业客服话术规范对回答打分。
对比预测工单类别与人工标注类别是否一致。
集中管理和配置评测集。
覆盖售前咨询、订单查询、售后处理等 320 条标准问答样本。
多模态地址抽取任务的标准样本，含图片与文本混合输入。
基于企业知识库构建的 200 条问答对，用于 RAG 效果评估。
包含 96 条高风险输入，用于考察模型的安全拒答能力。
120 条长文档摘要任务，评估摘要忠实度与信息压缩比。
15 组多轮对话场景，考察上下文记忆与指代消解能力。
序号 | query | reference_response | expected_intent | difficulty | 创建时间 | 操作 |
|---|
集中管理和执行评测任务。
该评估器未声明入参变量（内置评估器无参数声明，运行时按内置键清单取值；自定义评估器请在「评估器注册」中声明 mapper_config.params）
集中管理和注册应用。
面向 C 端用户的在线客服智能体
从文本中提取标准地址要素
基于知识库的 RAG 问答工作流
多风格营销文案生成智能体
外部工单平台接入，用于端到端联调评测
合同关键要素结构化抽取
管理已接入观测的应用，并查看应用调用链路。
应用名称 | 应用 ID | 调用量 | 平均调用时长 | Token 总量 | 操作 |
|---|
一次完整的智能体评测按以下顺序进行，各菜单分别承担其中一环：
工作台首页：资源概览与近况趋势，帮助掌握全局。
快捷操作
录入被评测应用的接入信息，是评测的前提。左侧菜单点击「应用注册」进入列表页：
快捷操作
决定"怎么给回答打分"。系统内置 23 个评估器，也可自建：
快捷操作
评测用例的集合，是任务的"题库"：
快捷操作
把应用、评测集、评估器组合起来执行评测的地方：
快捷操作
每次任务执行都会生成一份独立报告，入口在「评测任务」列表的操作列，或总览页的近况卡片。报告页自上而下分为四块：
右侧常驻信息
快捷操作
自动评分不可能 100% 可信。人工复核用来裁决「机器判定存疑」的用例，同时把裁决结果回流校准 LLM 裁判。
当你要验证「换模型 / 改 prompt / 调工具链」是否真的更好，不要只看一次评测的绝对值，用 A/B 实验做对照。
实验设置项
门禁是评测进入研发流程的方式：把「能不能上线」写成规则，让 CI 在合并前自动判定。
功能评测衡量「好不好用」，红队评测衡量「会不会出事」。两者都要过，智能体才允许上线。
与门禁的关系
从调用、质量、成本、时延多个维度观测评测运行情况，支持趋势、对比、分布与明细四种视图。
按当前场景配置评测集样本字段；后续仍可自由增加自定义字段。
面向多租户智能体集群的中台管控台，统一承载租户与组织管理、模型接入、配额调度、权限分配与运行态审计，是平台级治理的唯一入口。
以角色为中心统一编排功能权限、数据范围与成员归属，变更可追溯，支撑评测平台的分级管控。
—
评测集「客服标准问答集 V3」· 5 个评估器 · 2026-10-27 09:38 启动 / 09:42 完成
| # | 输入问题 | 期望要点 | 模型实际输出 | 准确性 | 综合 | 判定 | 耗时 |
|---|
对自动评分存疑的用例进行人工裁决，校准 LLM 裁判标准并沉淀黄金样本
对照组 prompt-v14 · 实验组 prompt-v15 · 50 / 50 流量均分 · 2026-10-21 至今
| 指标 | 对照组 | 实验组 | Δ | p 值 | 显著性 |
|---|---|---|---|---|---|
| 综合得分 | 85.2 | 87.6 | +2.4 | 0.003 | 显著 |
| 答案准确性 | 88.9 | 91.2 | +2.3 | 0.006 | 显著 |
| 意图识别准确率 | 86.4 | 88.4 | +2.0 | 0.041 | 显著 |
| 工具调用合规 | 86.1 | 84.7 | −1.4 | 0.217 | 不显著 |
| P99 延迟 | 2.1s | 2.4s | +0.3 | 0.002 | 劣化 |
| 单次成本 | ¥0.052 | ¥0.058 | +11.5% | 0.004 | 劣化 |
评测不达标即阻断发布。门禁同时适用于 CI 流水线、灰度发布与线上回流复评三类场景
| # | 规则 | 判定指标 | 阈值 | 阻断级别 | 启用 | 操作 |
|---|---|---|---|---|---|---|
| 1 | 安全合规零容忍
红队命中高危项即阻断，不参与加权 |
安全命中数 | = 0 | 硬阻断 | ||
| 2 | 综合得分下限
低于阈值禁止发布到生产环境 |
综合得分 | ≥ 85.0 | 硬阻断 | ||
| 3 | 用例通过率
在全量回归集上统计 |
通过率 | ≥ 90% | 硬阻断 | ||
| 4 | 相对基线不回退
任一评估器跌幅超过 3 分触发 |
Δ vs 基线 | ≥ −3.0 | 软阻断 | ||
| 5 | P99 延迟
端到端响应耗时 |
P99 延迟 | ≤ 3.0s | 软阻断 | ||
| 6 | 评测成本预算
单次全量评测费用上限 |
成本 | ≤ ¥50 | 仅告警 |
| 时间 | 应用 / 版本 | 触发规则 | 实测值 | 结果 | 触发来源 | 详情 |
|---|
# GitHub Actions 示例 - name: Agent 质量门禁 uses: evalplat/gate-action@v1 with: policy: policy-v3.2 dataset: 客服标准问答集:V3 app_version: ${{ github.sha }} fail_on: hard-block
模拟对抗性输入，检验智能体在越狱、注入、敏感内容与工具越权场景下的防御能力
| # | 攻击项 | 类别 | 严重度 | 防御结果 | 命中详情 | 处置 |
|---|