多agent双盲 A/B 测试工作流 — coordinate者主导、受测者并行、评测者盲评。
✅ 用户说以下内容时trigger本 Skill：
❌ 不适用：单modelassess、简单问答、快速原型verify。
┌─────────────────────────────────────────────────────────┐
│ coordinate者 (Coordinator) │
│ ① 接收任务 + 轮次配置 │
│ ② 向 Contestant A 发送 Prompt │
│ ③ 向 Contestant B 发送 Prompt │
│ ④ 收集输出 → 匿名化为"plan1"/"plan2" │
│ ⑤ 向 Judge 发送匿名plan │
│ ⑥ 收集评分 → record结果 │
│ ⑦ 重复 ④-⑥ N 轮 │
│ ⑧ 汇总 → 揭示身份 → 输出结构化report │
└─────────────────────────────────────────────────────────┘
↓ ↓ ↓
┌──────────┐ ┌──────────┐ ┌──────────┐
│Contestant│ │Contestant│ │ Judge │
│ A │ │ B │ │ (盲评) │
└──────────┘ └──────────┘ └──────────┘
sessions_spawn 隔离execute（runtime=subagent）
sessions_spawn 隔离execute（runtime=subagent）
直接在本会话中按工作流execute，无需脚本。
Prompt 模板（发给 Contestant A — 普通任务）：
你是 Contestant A。请完成以下任务，只输出结果，不要Description你是谁、不要加前缀：
[TASK]
输出格式（严格遵守）：
[CONTENT_A]
[你的完整输出]
[/CONTENT_A]
Prompt 模板（发给 Contestant B — 普通任务）：
你是 Contestant B。请完成以下任务，只输出结果，不要Description你是谁、不要加前缀：
[TASK]
输出格式（严格遵守）：
[CONTENT_B]
[你的完整输出]
[/CONTENT_B]
Prompt 模板（发给 Contestant A — 代码生成任务）：
你是 Contestant A。请完成以下任务。
任务：[TASK]
⚠️ 重要要求：先输出完整代码，再输出运行结果。代码必须在 [CONTENT_A] 标签内完整呈现，即使超时也优先返回代码。
输出格式（严格遵守）：
[CONTENT_A]
【代码】
[你的完整代码]
【运行结果】
[如有，运行结果]
[/CONTENT_A]
Prompt 模板（发给 Contestant B — 代码生成任务）：
你是 Contestant B。请完成以下任务。
任务：[TASK]
⚠️ 重要要求：先输出完整代码，再输出运行结果。代码必须在 [CONTENT_B] 标签内完整呈现，即使超时也优先返回代码。
输出格式（严格遵守）：
[CONTENT_B]
【代码】
[你的完整代码]
【运行结果】
[如有，运行结果]
[/CONTENT_B]
Prompt 模板（发给 Judge）：
你是1位严格公正的评测专家。请对以下两个匿名plan进行打分。
评测任务：[TASK]
评分维度（满分 10 分）：
1. 准确性（答案是否正确）
2. 完整性（是否覆盖所有要点）
3. 表达质量（语言是否流畅、清晰）
4. 创意/深度（是否有独到见解）
plan1：
[SOLUTION_1]
plan2：
[SOLUTION_2]
输出格式（严格遵守）：
[SCORES]
plan1-准确性: X/10（简短理由）
plan2-准确性: X/10（简短理由）
plan1-完整性: X/10（简短理由）
plan2-完整性: X/10（简短理由）
plan1-表达质量: X/10（简短理由）
plan2-表达质量: X/10（简短理由）
plan1-创意/深度: X/10（简短理由）
plan2-创意/深度: X/10（简短理由）
[/SCORES]
[TOTAL_A]4项得分之和[/TOTAL_A]
[TOTAL_B]4项得分之和[/TOTAL_B]
[WINNER]plan1 或 plan2 或 平局[/WINNER]
[COMMENT]总体评语（150字以内）[/COMMENT]
python scripts/runner.py --prompt "写1首关于春天的诗" --rounds 3 --model-a claude-sonnet-4 --model-b gpt-4o
用户输入：
- 任务 Prompt
- 测试轮次（默认 3）
- 评分维度（可自Definition Rubric）
- 可选：指定受测model
Round N：
→ 向 Contestant A 发送 Prompt（A 的专属版本）
→ 向 Contestant B 发送 Prompt（B 的专属版本）
并行等待，两方互不知道对方的存在
收集 A 的输出 → 记为 S1
收集 B 的输出 → 记为 S2
随机决定展示顺序（防顺序bias）
→ 发给 Judge
Judge 收到 S1、S2（无来源信息）
按 Rubric 逐项打分
输出分数 + 评语 + 胜出方
Round N 结果：
S1 = [A 的输出]
S2 = [B 的输出]
Judge 分数：S1=X, S2=Y
胜出方：Z
所有轮次完成后：
- 汇总各轮得分
- 计算胜率
- 揭示身份
- 输出最终report
{
"test_summary": {
"task": "...",
"rounds": 3,
"contestant_a": "Model A / Agent A",
"contestant_b": "Model B / Agent B",
"rubric": ["准确性", "完整性", "表达质量", "创意"]
},
"rounds": [
{
"round": 1,
"contestant_a_output": "...",
"contestant_b_output": "...",
"judge_scores": {
"contestant_a": [9, 8, 9, 7],
"contestant_b": [8, 9, 8, 8]
},
"winner": "contestant_a",
"judge_comment": "..."
}
],
"final_result": {
"total_score_a": 83,
"total_score_b": 80,
"wins_a": 2,
"wins_b": 1,
"winner": "Model A",
"confidence": "中（各胜 1 轮，建议增加轮次）"
}
}
ab-test-agent-workflow/
├── SKILL.md ← 本文件（工作流Description）
├── scripts/
│ ├── runner.py ← 多轮驱动引擎 + 自测模式
│ ├── judge_prompts.py ← Judge 提示词build + 解析
│ └── anonymizer.py ← 匿名化工具（过滤身份标识）
└── references/
├── rubric_templates.md ← 各任务类型评分模板
└── workflow_guide.md ← 详细executestep指南
# 自测模式（无需 subagent，verify工作流逻辑）
python scripts/runner.py --test --rounds 3
# 预览 Prompt（不实际execute）
python scripts/runner.py --prompt "写1首关于春天的诗" --skip-spawn
| 任务类型 | 推荐评分维度 |
|---------|------------|
| 写作/文案 | 准确性、完整性、表达、创意 |
| 代码生成 | 正确性、可读性、效率、security性 |
| 逻辑推理 | 准确性、推理深度、解释清晰度 |
| 知识问答 | 准确性、完整性、可信度 |
| 创意写作 | 原创性、文学性、主题契合度 |
scripts/anonymizer.py 预handle，移除身份标识词（Claude/GPT/Gemini/参赛者A/参赛者B 等）。
[SCORES] 等标签），解析器会 fallback 到智能提取。
[SCORES]...[/SCORES] 严格Constraint输出格式。
共 1 个版本