题目身份层根归一 · 交付报告

水利智学系统 第五阶段 | 2026-10-02 | 数据库 shuili_exam.db | 后端 V4.5.18
511
高置信重复题组
475
本次完成归一组
499
已隐藏副本
0
资产丢失 / 删题
3816
记录更新
335
冗余删除(可追溯)
7/7
重点回归 PASS
1251
归一后可见题

一、根因:历史笔记为什么没回填

用户再遇“建设单位计划体系中…设计文件交付/设备交货/进场/水电道路接通日期…”这道曾做过笔记的题,历史笔记未带回。实测该题有两个身份:

id=5500(普通题)node 6.5 | content_hash cca8…32a2 | 答案 B | 笔记 77、78
→
id=6597(【2023】真题)node 3.3.1 | content_hash 0893…2c642e | 答案 B | 笔记 112

方法层面已纠正:早期“在各资产层分别打等价补丁”治标,且“选项指纹单独等价”会误聚(审计 19 组,相似度低至 0.05)。已改为选项指纹必须过“题干≥0.90”闸门,并升级到身份层一次性根治。

二、根治方法:canonical 母题 + 强闸门 + 全资产归一

① 强归一聚类content_hash 相同 / canon_stem(去年份序号)相同 / 选项指纹相同且题干相似度≥0.90,并查集聚类
→
② 星型强闸门每个成员必须与母题通过 pair_strong(答案一致+强指纹),弱成员拆出(实测 0)
→
③ 增强选母题真题优先 → 选项数/知识点/节点非空 → 完整图片数 → 解析长度
→
④ 节点求证真题节点优先、父子链取最深;跨枝且无定论不强行归一
→
⑤ 全资产归一11 张表 question_id 归到母题,去重/合并,同一事务提交

聚类结果:511 组、涉及 1046 题;成员弱拆出 0、答案不一致 0、母题缺图 0。抽查十余组(含真题-真题、普通-真题)题干全部确认为同题,误报种子(3563/3298/3672)只返回自身——聚类零误聚。

三、资产归一明细(零丢失)

资产表更新指向冗余删除迁移后行数守恒 / 去重口径
notes 笔记380115多条保留不合并,零删除
question_answer_logs 答题日志30501449历史明细全部保留
question_collects 收藏3018UNIQUE(user,题),按用户去重
question_tags 标签34832935UNIQUE(user,题,tag) 去重
question_flashcard_rel 闪卡关系1185529同卡+母题只留一条
video_question_links 视频讲题15192864964经核查 286 全部同 timestamp,零误删片段
recognition_errors 识别纠错20089宽松指向母题
ai_explain_cache AI解析缓存003UNIQUE(题),本次未涉及
flash_cards.question_ids 闪卡多题串1590—文本内替换副本 id、去重保序
qb_review_queue 复核队列2550839question_id / related_ids 同步替换
wrong_questions 错题本7712724同(user,母题)合并;wrong/review 总次数守恒
questions 题目(不删题)97403135副本 is_duplicate=1,题保留可恢复

错题合并规则:wrong_count、review_count 累加(错误/复习事实不丢);仅当同组全部掌握才置 mastered;SRS(ease_factor/interval/next_review/mastery)取未掌握的最活跃主行;快照优先沿用母题原行。

四、重大发现:node_code 章节错标是全库性问题

普通题节点错标率

错标 45.5%
一致 54.5%

以真题节点为锚点,358 个普通题成员中 163 个节点与锚点不一致(招标投标挂“工程项目管理”、偿债备付率挂第5章、进度平衡表挂“竣工阶段”)。

真题批次间也互相矛盾

同一道题的无年份版与【2025】版节点跨枝、各有对错(如“最终结清14天”:2.1 错 / 6.5.1 对;“代位权”:2.4 对 / 2.2.2 错)。没有天然可信的节点来源。

现有 node_matcher 的方法缺陷

node_matcher 用“整节原文单向量”,长文语义被稀释:36 个冲突组 top1/top2 margin 普遍仅 0.003~0.04,连“最终结清14天→6.5.1”“偿债备付率→4.2.1”等客观明确的题,正确节点都进不了 top3。

36 个高冲突组:本次保留、不猜节点

8 组 真题-真题跨枝平票 28 组 无真题跨枝

这些组未隐藏副本、保持现状可见,零风险;统一进入复核队列,待章节重定位后再归一。本次 475 个母题节点:450 已正确、25 同父子链安全细化、0 跨枝。

五、单列后续:全库题目章节重定位子系统(待确认)

错标不止重复题、非重复题同样存在,需对全部 1768 道活跃题重定位到 189 个权威节点。建议方法(分块语义检索 + LLM 裁决 + 人工抽检):

1 教材分块:按 ~400 字切块并加“节点标题”前缀,避免整节单向量稀释。
2 块向量:bge-m3 生成节点块向量(可复用 RAG 索引)。
3 题目召回:题目文本=题干+正确选项+解析,对全节点块做 max-sim 召回 top-k 候选。
4 LLM 裁决:qwen2.5 / deepseek 基于候选教材原文做最终归属并给出依据,而非嵌入一锤定音。
5 置信分流:高置信自动归属,低置信进 qb_review_queue 人工复核。
6 校验与回滚:已知锚点回放目标准确率≥95%,人工抽检,全程备份可回滚。

六、验证与回滚

已执行验证(不同于生成路径回读)

  • PASS备份库 vs 当前库逐行追踪:笔记/日志/收藏/标签/闪卡/视频/错题 全覆盖,FAIL=0。
  • PASS7 个重点回归:answer_backfill、dedup_simhash、dedup_strong、stem_duplicate、question_figures、question_tags、choice_quality_gate。
  • PASSAPI:经 5500 / 6597 均返回母题活动笔记(78、112);误报种子 3563 返回 0,不串题。
  • PASS无悬空引用:用户资产无一指向隐藏副本;活跃题 1768 一道未删。

已删除笔记 77(is_deleted=1,78 为其更新版)被 API 正常过滤,非缺陷。

回滚方式

  • apply 前一致性备份:backend/data/migration_backup/shuili_exam_before_normalize_20261002_153550.db
  • 单题恢复:系统 /deduplication/restore(取消 is_duplicate、还原可见)。
  • 整库回滚:停后端,用备份替换 shuili_exam.db 后重启。

仍存在的缺口

  • 36 个高冲突组待全库章节重定位后归一。
  • 非重复题的章节错标需独立重定位(第五阶段范围外)。
  • 2 组重复闪卡(954/1000、955/1007,均未复习)暂保守保留、单独标记,未合并以免影响 SRS。

说明:本次所有数字均由磁盘数据库与备份实时计算,题组/节点结论可用 build_groups.py、node_resolve.py、verify_e2e.py 复算;运行态以 /api/common/health 实时核对。