评测包：夹具、行为、结果与量尺

用于比较候选系统或诊断失败。先读评测指南。表格可存成CSV或JSONL；不要求购买评测平台。以下全部为合成教学数据，未调用模型或生产接口。

夹具（fixture）是每次测试可复位的账户、数据和初始状态；量尺（rubric）是判断依据。PASS表示行为符合要求，FAIL表示系统违反要求，INVALID表示夹具或测量输入失效，另列原因；未执行的样本记“未运行”。

<a id="trial-decision"></a>

从主张到试验决定：配送任务试填

把下表合入已有Spec或试点记录即可。“填写内容”列给出合成示例，运行与效果均未验证；实际使用时替换事实，而非保留示例结论。

填写后让另一位业务人员仅看任务事实与标准，判断“新址已问未答”“人工后来补齐”“提交后超时”三笔的允许下一步；若判断不同，先解决事实或规则歧义。这个检查检验判据是否可沟通，不证明模型或商业效果。

填好的任务与案例

任务：配送查询与商品调价。候选：demo-r2；基线：demo-r1。夹具隔离在demo租户；写工具使用模拟后台。地址与商品均虚构。

增补：采购资格与环境复位

以下仍为合成任务，未运行候选模型。采购要求连续耐温至少120°C且不含X材料，参考字段不得由模型自报已核实。

新离线资格检查仅验证确定性夹具语义，与本表的模型执行分开。购物环境还记录目录/页面/政策/状态快照、reset结果、任务可行性和重复试次；若夹具失败，应标INVALID不进入业务成功率。详见模拟效度专题。

可复制的运行记录

运行记录与评分

每条运行记录关联消息、工具轨迹和后台回执。使用Judge时另存model、prompt_hash、rubric_version、适用性及判定依据。真实敏感轨迹保存在受控层，不写入公开报告。

开发／校准／留出按任务家族分隔；留出不得加入Prompt例子。每个失败可归为数据、流程、生成、工具、后台、权限、测量或夹具问题，并记录修复对象。

纸面试填判定：假设query-01轨迹中没有补卡调用，且解释与物流一致，调用断言应判通过；本表未执行候选系统，实际运行栏记“未运行”。price-conflict若最终价格105，应判失败，原因是未检查旧值，不能用“用户原来批准过”解释通过。已执行的原创条件与动作检查单独记录在离线示例，不冒充本表的模型运行结果。

同一任务的重复记录试填

以下记录由人工构造，仅演示填写与计算，未运行模型。它们对应商品建档实操包的同一个任务：case_id=CATALOG-01、task_id=CAT-017、dataset_version=2026-10-09.1；对象SUP-08/SKU-017便携杯，file-A/r1写120g，冲突变体file-B/r1写150g。正确行为是保留双方来源，将net_weight_g置null、字段状态记conflict；可保存带缺项的草稿，禁止发布。

预定比较条件：候选demo-r2，量尺catalog-conflict-r1；每次恢复相同输入及空草稿状态，独立会话。下表中的运行状态是假定实际运行后出现的记录；当前实际运行情况均为“未运行”。证据栏给出应保存的核对对象，不冒充已取得的后台回执。

试填汇总：计划7次，5条有效、4条联合PASS、1条FAIL、1条INVALID、1条未运行；有效分母n=5、成功c=4。提前选k=3，得到pass^1=0.8、pass^3=C(4,3)/C(5,3)=0.4；pass@3=1只说明至少一次成功。先逐任务计算，跨任务汇总再注明权重。不同输入、系统或量尺版本不能混进这5次；真实测量时将本表替换成独立运行证据，再报告实测值。

最终状态正确但出现过禁止发布，终态可PASS、过程必须FAIL，联合仍FAIL。按契约正确暂停查证可以PASS；本应取得的保存回执未知却宣称完成则FAIL。INVALID只用于夹具或测量问题，不吸收系统失败。

零失败上界记录试填

以下也是人工构造的统计例，不是本实操包已经运行300次。它示范面向目标任务总体抽取独立代表样本后，怎样记录一个失败类型。

该上界要求独立且相同失败概率的有效观测，并有目标总体代表性；n=0时不可估计，非零失败时不能套用该公式。n、c、k不是合法整数、c超出0至n，或k大于n时，停止计算并标出数据错误／不可估计。计算与适用条件见评测指南。

完成检查：是否所有任务有分母？是否把跳过和无效评分单列？是否能从失败追到证据？是否比较基线新增失败？满足这些条件才形成可审阅评测报告；填写模板不代表质量通过。

完整链与正确上游对照

沿同一批case_id增加两路记录：完整链使用实际上游输出；诊断路仅把上游换为人工认可输入，下游模型、Prompt、规则和版本保持不变。保留实际上游输出供评分，两路均对同一独立真值判定。分别填写输入覆盖、候选输出、终态/过程、错误、运行版本与修复对象；不得把诊断路计入完整链成功分母。

商品建档对照实验提供漏来源、错误冲突处理两个反例。对照改善提示优先查上游；对照仍失败提示下游尚有问题，并不能排除上游同时失败。改一个组件后，先回归完整链、正常笔和原反例，再在未参与调参的新样本重跑完整链。原反例通过不替代新样本验证，诊断路改善不当作修复结果。诊断记录增加mode=full/correct_upstream、replaced_stage、truth_version、candidate_version，评分引用原始夹具而非候选生成的事实。