qiaoqichaoandClaude Code
d6bc8485f5
覆盖 AC-15/16/34/37/41（BR-15/16/40、E-11/24）。
后端：
- contracts/improvement.py：ImprovementCandidate + ContrastReport/ContrastMetrics。
零分母不得给比率或覆盖率（样本不足不是 0%）；非独立评测不得给改进/退化结论；
已发布必须引用既有不可变版本；没有对照证据不得进入待审核或已发布。
- services/improvements.py：
· evaluate_contrast 在服务端判定泄漏——预测锁定前读到标签即整次评测作废（E-11），
保留集来源进开发集的样本作废并单列，指标按分子/可观察分母/覆盖率/未观察分开报；
· transition 状态机：draft→evaluating→ready→in_review→approved→released，
自批拒绝、退化与结论不明拒绝发布、发布幂等且只引用既有版本、撤回只影响新运行。
- api/prescreen.py：候选列表、提出与状态机三个端点；评测请求体提交样本，
泄漏与指标一律由服务端计算，不接受客户端交来的"成品报告"。
- contracts/prescreen.py：补 E-11/E-24 错误码与 409 映射。
前端一致性修正：
- src/lib/prescreen-run.ts 的呈现判定改用后端既有词汇
（empty/list/grouped/radar/faceted，与 services/review_plan.presentation 一致），
避免前后端各一套判定导致界面画出后端判定为不该画雷达的图。
演示交付：
- scripts/xingbang_prescreen_demo.py：按 08 §7 八步演示，只驱动已实现入口，
未实现的步骤（批量清单、历史提炼、卡片治理）如实标注原因；
工程演示与模型效果分列，本地专项/Jev/真实概率一律标未验证或未接通。
- backend/test_demo_script.py：冒烟断言八步状态、未实现原因与分列口径。
验证：backend 全量 unittest 519 项 OK；前端 npm run build 通过。
Co-Authored-By: Claude Code <noreply@anthropic.com>
59 lines
2.2 KiB
Python
59 lines
2.2 KiB
Python
"""T11 演示脚本冒烟测试：八步都出现、未实现处不伪装、工程与模型效果分列。"""
|
|
|
|
import contextlib
|
|
import io
|
|
import sys
|
|
import unittest
|
|
from pathlib import Path
|
|
|
|
SCRIPTS = Path(__file__).resolve().parent.parent / "scripts"
|
|
sys.path.insert(0, str(SCRIPTS))
|
|
|
|
import xingbang_prescreen_demo as demo # noqa: E402
|
|
|
|
|
|
class DemoScriptTests(unittest.TestCase):
|
|
def output(self) -> str:
|
|
buffer = io.StringIO()
|
|
with contextlib.redirect_stdout(buffer):
|
|
code = demo.main()
|
|
self.assertEqual(code, 0)
|
|
return buffer.getvalue()
|
|
|
|
def test_every_step_is_reported_with_its_real_status(self):
|
|
text = self.output()
|
|
for index, title, status, _ in demo.STEPS:
|
|
self.assertIn(f"{index}. [{status}] {title}", text)
|
|
|
|
def test_unimplemented_steps_say_why(self):
|
|
text = self.output()
|
|
self.assertIn("未实现", text)
|
|
self.assertIn("需要真实历史材料", text)
|
|
|
|
def test_engineering_demo_and_model_effects_are_separate_sections(self):
|
|
text = self.output()
|
|
self.assertIn("工程演示", text)
|
|
self.assertIn("模型效果", text)
|
|
self.assertIn("未验证（无权重与授权）", text)
|
|
self.assertIn("Jev：未接通", text)
|
|
self.assertIn("不能作为真实业务效果或审批依据", text)
|
|
|
|
def test_real_probability_stays_empty_and_demo_values_are_labeled(self):
|
|
facts = demo.run_demo()
|
|
self.assertTrue(facts["probability_is_null"], "真实概率必须为空")
|
|
self.assertEqual(facts["sandbox"]["baseline"], 0.42)
|
|
self.assertEqual(facts["sandbox"]["combined"], 0.64)
|
|
self.assertIn("人工设定", facts["sandbox"]["label"])
|
|
self.assertEqual(facts["sandbox"]["unchanged_dimensions"], ["DC-DEAL"])
|
|
|
|
def test_trajectory_keeps_failures_and_excludes_unmatched_outcomes(self):
|
|
facts = demo.run_demo()
|
|
self.assertTrue(facts["trajectory"]["failed_preserved"])
|
|
self.assertEqual(facts["trajectory"]["unmatched"], 1)
|
|
self.assertEqual(facts["trajectory"]["observed_denominator"], 0,
|
|
"未匹配材料版本的结果不得进入已观察分母")
|
|
|
|
|
|
if __name__ == "__main__":
|
|
unittest.main()
|