This commit is contained in:
@@ -0,0 +1,55 @@
|
||||
# 兴邦 v2 验证与质量门
|
||||
|
||||
状态:新版验证计划;以下 AC 测试为待实现,不能以旧版测试通过替代。
|
||||
|
||||
## 1. 可追溯测试矩阵
|
||||
|
||||
| 用例组 | 规格 AC | 层级 / 断言 |
|
||||
|---|---|---|
|
||||
| 材料确认与历史时间线 | AC-01/02 | 单测/集成:未确认不入事实;未知时间不补造;解析失败保留原件 |
|
||||
| 经验审核、检索与版本 | AC-03/04/13 | 权限/集成:无资格、不适用、过期、撤回、异域不可应用;旧版本可追溯 |
|
||||
| 主审与硬约束 | AC-05/06/07 | 有冲突和缺证的固定样例:单题正面不覆盖硬规则,缺数据不判高风险 |
|
||||
| 证据真实性边界 | AC-08 | 伪造 ID、跨项目、无权片段被拒;有引用不等于真实性已证实 |
|
||||
| Jev 降级 | AC-09/16 | mock:未配置、超时、畸形响应、未批准出口;零伪造判断、零未授权发送 |
|
||||
| Agent 工具与预算 | AC-10 | 注入材料无法调用 terminal/任意SQL;预算耗尽确实停止 |
|
||||
| 模拟隔离 | AC-11 | 真实快照哈希/数据库记录前后不变;关联改进不可简单相加 |
|
||||
| 概率门禁 | AC-12 | UI/API/导出均无未经校准概率;Noul、Score不转审批率 |
|
||||
| 幂等与并发 | AC-14 | 同键同载荷只一条运行;同键异载荷409;Worker重启不重复落库 |
|
||||
| 盲测 | AC-15 | 预测先锁定,标签后揭示;同项目不跨开发/验收集;泄漏样本作废 |
|
||||
|
||||
## 2. 工程验证顺序
|
||||
|
||||
使用 backend/venv,先运行本批相关 unittest 与 UI 检查,再运行根目录的 `backend/venv/Scripts/python.exe scripts/verify.py`。Linux 对应 backend/venv/bin/python。命令、cwd、revision、fixture 和完整日志保存在 test-evidence。
|
||||
|
||||
现有 verify.py 实际包含:git diff、全部 backend unittest、四项 UI 源码守卫、Next.js build、本地/云端 Compose config;这些 UI 脚本不等于真实浏览器 E2E。--docker 会构建并启动本地 Compose,有端口与停止副作用,不能在与旧版冲突的资源上随意运行。
|
||||
|
||||
文档任务运行链接、编号覆盖、文件来源、格式检查。GitHub workflow 文件存在不代表 Gitea CI 已执行;远程检查未观测记 Unobserved。
|
||||
|
||||
## 3. 业务验证设计
|
||||
|
||||
同一批材料按版本冻结比较:A=现有助手;B=主审+历史经验;C=B+Jev。对照回答“经验有没有帮助”和“Jev有没有额外收益”,不把两项改进混成一个原因。先用合成反例暴露故障,再用客户持有的脱敏保留集检验。
|
||||
|
||||
样本包含通过、退回、否决、附条件通过、资料不全及意见分歧。按项目分组、按预测时间截断,只使用当时已取得的材料;区分首次提交通过和补件后最终通过。开发集不能看到保留集答案,也不能通过完整历史报告间接泄漏目标答案。
|
||||
|
||||
| 指标 | 计算口径 | 限制 |
|
||||
|---|---|---|
|
||||
| 重大问题漏检 | 专家标注重大问题中未识别数 / 专家标注总数 | 先定义重大问题;无标注不计算 |
|
||||
| 无依据结论 | 复核为无依据的实质判断 / 被复核判断 | 引用存在但不支持也算无依据 |
|
||||
| 误报 | 被专家认定不成立的问题 / 系统提出问题 | 专家分歧单列 |
|
||||
| 有效补件 | 解决预定争议的补件 / 已完成补件 | 不把补件数量当质量 |
|
||||
| 一致性 | 与参考意见一致的项目 / 可比较项目 | 不等于正确率;分歧要复核 |
|
||||
| 效率与成本 | 相同边界下的人工耗时、端到端耗时、调用成本 | 同时检查重大问题漏检,不能只追求快 |
|
||||
|
||||
分母为0返回 not_applicable,不填0%。指标验收阈值在盲测前与兴邦锁定(OQ-04),不能看结果后调线。少量案例用于可行性和故障发现,不支持总体准确率宣传。
|
||||
|
||||
## 4. 概率后续门禁
|
||||
|
||||
定义审批事件、预测时点、样本纳入范围和制度时期;只观察已送审项目会有选择偏差。独立保留时间段测试校准情况,记录 Brier/校准曲线等指标并说明不确定性;通过概率不代表投放后无违约。具体样本量、模型选择和阈值另立规格,不在无数据时承诺。
|
||||
|
||||
动作模拟的分数变化属于模型条件判断,不能直接当作措施造成通过率提升的因果结论。
|
||||
|
||||
## 5. 失败和发布门
|
||||
|
||||
失败→复现→定位→最小修复→同一检查复验,完整记录。未解决故障不得发布镜像。仅保存源码恢复快照不等同发布,快照注明验证状态。
|
||||
|
||||
人工评审按正确性、一致性、安全、测试四维;未经独立评审不标通过。线上效果须在真实交付环境观测,本地测试不能替代。
|
||||
Reference in New Issue
Block a user