84 lines
7.7 KiB
Markdown
84 lines
7.7 KiB
Markdown
# 兴邦 v2 验证与质量门
|
|
|
|
状态：新版验证计划；以下 AC 测试为待实现，不能以旧版测试通过替代。
|
|
|
|
## 1. 可追溯测试矩阵
|
|
|
|
| 用例组 | 规格 AC | 层级 / 断言 |
|
|
|---|---|---|
|
|
| 材料确认与历史时间线 | AC-01/02 | 单测/集成：未确认不入事实；未知时间不补造；解析失败保留原件 |
|
|
| 经验审核、检索与版本 | AC-03/04/13 | 权限/集成：无资格、不适用、过期、撤回、异域不可应用；旧版本可追溯 |
|
|
| 主审与硬约束 | AC-05/06/07 | 有冲突和缺证的固定样例：单题正面不覆盖硬规则，缺数据不判高风险 |
|
|
| 证据真实性边界 | AC-08 | 伪造 ID、跨项目、无权片段被拒；有引用不等于真实性已证实 |
|
|
| 专项模型降级 | AC-09/16 | mock：未配置、超时、畸形响应、未批准出口；零伪造判断、零未授权发送 |
|
|
| 提供方切换与契约 | AC-17/18/19/20/21 | 单测/集成：无 Jev Key 的 local、disabled、畸形答案、题型缺失、配置冻结、无自动跨提供方回退；调用 spy 核验实际发送目标 |
|
|
| Agent 工具与预算 | AC-10 | 注入材料无法调用 terminal/任意SQL；预算耗尽确实停止 |
|
|
| 模拟隔离 | AC-11 | 真实快照哈希/数据库记录前后不变；关联改进不可简单相加 |
|
|
| 概率门禁 | AC-12 | UI/API/导出均无未经校准概率；Noul、Score不转审批率 |
|
|
| 幂等与并发 | AC-14 | 同键同载荷只一条运行；同键异载荷409；Worker重启不重复落库 |
|
|
| 盲测 | AC-15 | 预测先锁定，标签后揭示；同项目不跨开发/验收集；泄漏样本作废 |
|
|
|
|
## 2. 工程验证顺序
|
|
|
|
使用 backend/venv，先运行本批相关 unittest 与 UI 检查，再运行根目录的 `backend/venv/Scripts/python.exe scripts/verify.py`。Linux 对应 backend/venv/bin/python。命令、cwd、revision、fixture 和完整日志保存在 test-evidence。
|
|
|
|
现有 verify.py 实际包含：git diff、全部 backend unittest、四项 UI 源码守卫、Next.js build、本地/云端 Compose config；这些 UI 脚本不等于真实浏览器 E2E。--docker 会构建并启动本地 Compose，有端口与停止副作用，不能在与旧版冲突的资源上随意运行。
|
|
|
|
文档任务运行链接、编号覆盖、文件来源、格式检查。GitHub workflow 文件存在不代表 Gitea CI 已执行；远程检查未观测记 Unobserved。
|
|
|
|
## 3. 业务验证设计
|
|
|
|
同一批材料按版本冻结比较：A=现有助手；B=主审+历史经验；C-local=B+本地专项模型；有 Key 且获准时加入 C-Jev=B+Jev。对照回答“经验有没有帮助”和“所选专项模型有没有额外收益”，不把两项改进混成一个原因。先用合成反例暴露故障，再用客户持有的脱敏保留集检验。
|
|
|
|
样本包含通过、退回、否决、附条件通过、资料不全及意见分歧。按项目分组、按预测时间截断，只使用当时已取得的材料；区分首次提交通过和补件后最终通过。开发集不能看到保留集答案，也不能通过完整历史报告间接泄漏目标答案。
|
|
|
|
| 指标 | 计算口径 | 限制 |
|
|
|---|---|---|
|
|
| 重大问题漏检 | 专家标注重大问题中未识别数 / 专家标注总数 | 先定义重大问题；无标注不计算 |
|
|
| 无依据结论 | 复核为无依据的实质判断 / 被复核判断 | 引用存在但不支持也算无依据 |
|
|
| 误报 | 被专家认定不成立的问题 / 系统提出问题 | 专家分歧单列 |
|
|
| 有效补件 | 解决预定争议的补件 / 已完成补件 | 不把补件数量当质量 |
|
|
| 一致性 | 与参考意见一致的项目 / 可比较项目 | 不等于正确率；分歧要复核 |
|
|
| 效率与成本 | 相同边界下的人工耗时、端到端耗时、调用成本 | 同时检查重大问题漏检，不能只追求快 |
|
|
|
|
分母为0返回 not_applicable，不填0%。指标验收阈值在盲测前与兴邦锁定（OQ-04），不能看结果后调线。少量案例用于可行性和故障发现，不支持总体准确率宣传。
|
|
|
|
## 4. 概率后续门禁
|
|
|
|
定义审批事件、预测时点、样本纳入范围和制度时期；只观察已送审项目会有选择偏差。独立保留时间段测试校准情况，记录 Brier/校准曲线等指标并说明不确定性；通过概率不代表投放后无违约。具体样本量、模型选择和阈值另立规格，不在无数据时承诺。
|
|
|
|
动作模拟的分数变化属于模型条件判断，不能直接当作措施造成通过率提升的因果结论。
|
|
|
|
## 5. 失败和发布门
|
|
|
|
失败→复现→定位→最小修复→同一检查复验，完整记录。未解决故障不得发布镜像。仅保存源码恢复快照不等同发布，快照注明验证状态。
|
|
|
|
人工评审按正确性、一致性、安全、测试四维；未经独立评审不标通过。线上效果须在真实交付环境观测，本地测试不能替代。
|
|
|
|
## 6. 提供方效果与可用性分别验收
|
|
|
|
同一冻结题库、证据和专家标签验证 Jev/local 的业务含义与结构契约，不要求逐题答案或数值相同。分别统计错误、漏检、拒答/unknown、耗时及成本；模型不支持的题型也计入未完成项，不能从分母偷偷排除。阈值和映射按提供方/模型/题型独立登记，先定再测。
|
|
|
|
local 集成须在没有 Jev 凭据的环境实际执行，并验证未发送 Jev 请求；本地模型服务本身的授权配置另行处理。Jev live 无凭据则明确跳过，fixture 通过仅证明适配代码结构。两者未真实执行前，当前文档一律不宣称切换功能可用。
|
|
|
|
## 7. 三模块增量验收矩阵（0.2，待实现）
|
|
|
|
| 检查领域 | AC | 必须观察的行为 |
|
|
|---|---|---|
|
|
| 会议目标/结果对齐 | AC-22/33 | 结果代码保留；退出不当否决；未知快照和后期结果不倒填初始标签；更正追加 |
|
|
| 多源导入与冲突 | AC-23/24 | 文件部分失败、容量/格式、表格定位/单位、未确认事实和重复导入隔离 |
|
|
| 人工/历史卡片 | AC-25/26/27/42/43 | 来源谱系、临时要求不持久化、硬规则资格、统一治理、发布版本不可变、去色可识别 |
|
|
| 方案与动态维度 | AC-28/29/44 | 无Tools配置入口；依赖权限/有效性；维度冲突；0/2/6/9维与异刻度列表不遗漏 |
|
|
| 沙盘与概率状态 | AC-30/31 | API/UI/导出域隔离、最新选择匹配、失败保基线、互斥动作、组合不简单相加 |
|
|
| 轨迹与建议边界 | AC-32/45 | 完整run/多step关联、失败保留、引用授权、成本unknown、不伪造隐藏推理、不自动关闭项目 |
|
|
| 改进与独立判断 | AC-34/41 | 自评分非真值；固定对照；未评测/自批/退化均不能发布；发布幂等与旧版可读 |
|
|
| 合成数据与隔离 | AC-35/36 | seed可复现、多类结果、划分先于提炼、关联客户/项目与近重复无交叉、衍生Skill不泄漏 |
|
|
| 业务目标指标 | AC-37 | 高预测组通过分子/已观察分母、覆盖率、未观察数同时报告；空分母为不适用 |
|
|
| 本地模型准入 | AC-38/39/40 | 每任务/用途验收、冻结checkpoint、否定/例外反例、超长拒绝而非截断、禁止静默路由 |
|
|
|
|
数据集划分必须早于检索库、经验/Skill提炼和模型调参；开发、校准、测试分开。真实评测的分母与未送审选择偏差单列，不能把只在已评审项目上的通过率推广给所有早期线索。
|
|
|
|
T08报告四层结果：契约fixture、真实本地连通、中文专项效果、运行用途准入。可连通但效果差时报告失败，disabled路径仍可运行。mock与模拟专家标签不能代替独立专家标注。模型更新对既有护栏有回归时不能发布。
|
|
|
|
文档验证只检查编号/链接/事实/格式及源代码未变；本轮不运行未实现的新功能测试，也不重跑与纯文档无关的全量构建。行为实现时统一verify要求不变。
|