2026-09-28 17:02:33 +08:00
|
|
|
# 兴邦 v2 验证与质量门
|
|
|
|
|
|
|
|
|
|
状态：新版验证计划；以下 AC 测试为待实现，不能以旧版测试通过替代。
|
|
|
|
|
|
|
|
|
|
## 1. 可追溯测试矩阵
|
|
|
|
|
|
|
|
|
|
| 用例组 | 规格 AC | 层级 / 断言 |
|
|
|
|
|
|---|---|---|
|
|
|
|
|
| 材料确认与历史时间线 | AC-01/02 | 单测/集成：未确认不入事实；未知时间不补造；解析失败保留原件 |
|
|
|
|
|
| 经验审核、检索与版本 | AC-03/04/13 | 权限/集成：无资格、不适用、过期、撤回、异域不可应用；旧版本可追溯 |
|
|
|
|
|
| 主审与硬约束 | AC-05/06/07 | 有冲突和缺证的固定样例：单题正面不覆盖硬规则，缺数据不判高风险 |
|
|
|
|
|
| 证据真实性边界 | AC-08 | 伪造 ID、跨项目、无权片段被拒；有引用不等于真实性已证实 |
|
2026-09-28 17:24:03 +08:00
|
|
|
| 专项模型降级 | AC-09/16 | mock：未配置、超时、畸形响应、未批准出口；零伪造判断、零未授权发送 |
|
|
|
|
|
| 提供方切换与契约 | AC-17/18/19/20/21 | 单测/集成：无 Jev Key 的 local、disabled、畸形答案、题型缺失、配置冻结、无自动跨提供方回退；调用 spy 核验实际发送目标 |
|
2026-09-28 17:02:33 +08:00
|
|
|
| Agent 工具与预算 | AC-10 | 注入材料无法调用 terminal/任意SQL；预算耗尽确实停止 |
|
|
|
|
|
| 模拟隔离 | AC-11 | 真实快照哈希/数据库记录前后不变；关联改进不可简单相加 |
|
|
|
|
|
| 概率门禁 | AC-12 | UI/API/导出均无未经校准概率；Noul、Score不转审批率 |
|
|
|
|
|
| 幂等与并发 | AC-14 | 同键同载荷只一条运行；同键异载荷409；Worker重启不重复落库 |
|
|
|
|
|
| 盲测 | AC-15 | 预测先锁定，标签后揭示；同项目不跨开发/验收集；泄漏样本作废 |
|
|
|
|
|
|
|
|
|
|
## 2. 工程验证顺序
|
|
|
|
|
|
|
|
|
|
使用 backend/venv，先运行本批相关 unittest 与 UI 检查，再运行根目录的 `backend/venv/Scripts/python.exe scripts/verify.py`。Linux 对应 backend/venv/bin/python。命令、cwd、revision、fixture 和完整日志保存在 test-evidence。
|
|
|
|
|
|
|
|
|
|
现有 verify.py 实际包含：git diff、全部 backend unittest、四项 UI 源码守卫、Next.js build、本地/云端 Compose config；这些 UI 脚本不等于真实浏览器 E2E。--docker 会构建并启动本地 Compose，有端口与停止副作用，不能在与旧版冲突的资源上随意运行。
|
|
|
|
|
|
|
|
|
|
文档任务运行链接、编号覆盖、文件来源、格式检查。GitHub workflow 文件存在不代表 Gitea CI 已执行；远程检查未观测记 Unobserved。
|
|
|
|
|
|
|
|
|
|
## 3. 业务验证设计
|
|
|
|
|
|
2026-09-28 17:24:03 +08:00
|
|
|
同一批材料按版本冻结比较：A=现有助手；B=主审+历史经验；C-local=B+本地专项模型；有 Key 且获准时加入 C-Jev=B+Jev。对照回答“经验有没有帮助”和“所选专项模型有没有额外收益”，不把两项改进混成一个原因。先用合成反例暴露故障，再用客户持有的脱敏保留集检验。
|
2026-09-28 17:02:33 +08:00
|
|
|
|
|
|
|
|
样本包含通过、退回、否决、附条件通过、资料不全及意见分歧。按项目分组、按预测时间截断，只使用当时已取得的材料；区分首次提交通过和补件后最终通过。开发集不能看到保留集答案，也不能通过完整历史报告间接泄漏目标答案。
|
|
|
|
|
|
|
|
|
|
| 指标 | 计算口径 | 限制 |
|
|
|
|
|
|---|---|---|
|
|
|
|
|
| 重大问题漏检 | 专家标注重大问题中未识别数 / 专家标注总数 | 先定义重大问题；无标注不计算 |
|
|
|
|
|
| 无依据结论 | 复核为无依据的实质判断 / 被复核判断 | 引用存在但不支持也算无依据 |
|
|
|
|
|
| 误报 | 被专家认定不成立的问题 / 系统提出问题 | 专家分歧单列 |
|
|
|
|
|
| 有效补件 | 解决预定争议的补件 / 已完成补件 | 不把补件数量当质量 |
|
|
|
|
|
| 一致性 | 与参考意见一致的项目 / 可比较项目 | 不等于正确率；分歧要复核 |
|
|
|
|
|
| 效率与成本 | 相同边界下的人工耗时、端到端耗时、调用成本 | 同时检查重大问题漏检，不能只追求快 |
|
|
|
|
|
|
|
|
|
|
分母为0返回 not_applicable，不填0%。指标验收阈值在盲测前与兴邦锁定（OQ-04），不能看结果后调线。少量案例用于可行性和故障发现，不支持总体准确率宣传。
|
|
|
|
|
|
|
|
|
|
## 4. 概率后续门禁
|
|
|
|
|
|
|
|
|
|
定义审批事件、预测时点、样本纳入范围和制度时期；只观察已送审项目会有选择偏差。独立保留时间段测试校准情况，记录 Brier/校准曲线等指标并说明不确定性；通过概率不代表投放后无违约。具体样本量、模型选择和阈值另立规格，不在无数据时承诺。
|
|
|
|
|
|
|
|
|
|
动作模拟的分数变化属于模型条件判断，不能直接当作措施造成通过率提升的因果结论。
|
|
|
|
|
|
|
|
|
|
## 5. 失败和发布门
|
|
|
|
|
|
|
|
|
|
失败→复现→定位→最小修复→同一检查复验，完整记录。未解决故障不得发布镜像。仅保存源码恢复快照不等同发布，快照注明验证状态。
|
|
|
|
|
|
|
|
|
|
人工评审按正确性、一致性、安全、测试四维；未经独立评审不标通过。线上效果须在真实交付环境观测，本地测试不能替代。
|
2026-09-28 17:24:03 +08:00
|
|
|
|
|
|
|
|
## 6. 提供方效果与可用性分别验收
|
|
|
|
|
|
|
|
|
|
同一冻结题库、证据和专家标签验证 Jev/local 的业务含义与结构契约，不要求逐题答案或数值相同。分别统计错误、漏检、拒答/unknown、耗时及成本；模型不支持的题型也计入未完成项，不能从分母偷偷排除。阈值和映射按提供方/模型/题型独立登记，先定再测。
|
|
|
|
|
|
|
|
|
|
local 集成须在没有 Jev 凭据的环境实际执行，并验证未发送 Jev 请求；本地模型服务本身的授权配置另行处理。Jev live 无凭据则明确跳过，fixture 通过仅证明适配代码结构。两者未真实执行前，当前文档一律不宣称切换功能可用。
|
