归一性全面核查与根治方案
范围:题库全量活跃题目 · 口径:选项集合指纹 / 强归一题干 / 题干真实相似度(去年份前缀)· 数据来源:shuili_exam.db 实测
1768
活跃题目总数(全部集中于「一造管理」)
422 / 873
未归一重复题组数 / 涉及题目数(近半数)
389
高置信真重复(题干相似度≥0.90,可安全归一)
19
误报组(选项指纹撞车,已封堵,不判同)
一、未归一重复组的可靠性分层
高置信真重复 389(92%)
14
19
high 389 组:题干相似度≥0.90,真重复,可自动归一
mid 14 组:0.75–0.90,措辞差异,进人工复核队列
low 19 组:<0.75,选项指纹撞车的误报,不处理
漏归主因:365 组「年份前缀【YYYY】未剥离」,57 组「措辞/空白/导入副本」。系统现有 473 道题题干带年份前缀,已标 duplicate_of 仅 118 道。
二、根因链(为什么系统没认出它们是同题)
真题加【YYYY】前缀
同一道题导入时带年份/题型标记
硬指纹被改变
content_hash 变化、SimHash 海明距离超阈值
L3 召回失效
知识点(point)字段大量为空,无法按同知识点召回
从未进入裁决
召回层缺「强归一题干/选项指纹」,候选对缺失
未建 duplicate_of
资产按精确 question_id 分散,笔记不回填
三、是不是方法有问题?—— 是,两层
方法 A:在每个资产查询层各自打等价补丁
治标·当前
需在 笔记 / 错题本 / 闪卡关系 … 多处重复接入等价解析,易漏
题面仍然冗余:抽题、练习会重复遇到同一道题
已发现真实缺陷:
「选项集合指纹」单独等价时,通用数字/短选项(年份数、条数、天数、金额)会撞车,把
不同题
错聚(实测相似度低至 0.05)
优点:不改题表、零副作用、立即生效
方法 B:题目身份层一次性归一
治本·推荐
补齐去重召回:「强归一题干指纹(去年份前缀)」为主,选项指纹仅作题干高相似后的辅助确认
对 389 组高置信真重复建立 duplicate_of(选定母题 keeper)
把分散在重复题上的 笔记/错题/闪卡关系 迁移归一到母题
一处归一,所有资产天然连通;mid 14 组进人工队列、low 19 组不动
全程幂等、只标记不删除、可经 /restore 回滚
四、各资产「打通」现状
学习资产
关联方式
重复题/真题版本是否互通
快速笔记 / 学习笔记
question_id(已接入等价解析)
✅ 已打通(误报已封堵)
错题本(WrongQuestion)
question_id 精确匹配
❌ 未打通,同题可能出现两条错题
题—闪卡关系(question_flashcard_rel)
question_id 精确匹配
❌ 未打通,闪卡按题分散
题面 / 抽题
无 canonical 母题
❌ 冗余,练习会重复抽到
五、推荐根治执行步骤(方法 B)
备份数据库
(migration_backup,保证可回滚)
补齐召回层
:增加「强归一题干指纹(剥离【YYYY】年份与题型前缀)」召回;选项指纹仅在题干相似度≥0.90 时作辅助
生成判重计划
:复用系统 plan_auto_merge 的强裁决(成员 vs 母题实时判定,弱则转人工,零误判)
资产关系归一迁移
:将 dup 题上的 笔记 / 错题 / 闪卡关系 合并迁移到 keeper(去重、防悬空)
落 duplicate_of
:389 组高置信题置 is_duplicate=1 + duplicate_of(练习/题库自动过滤,不再重复遇到)
分流
:mid 14 组写入 qb_review_queue 人工队列;low 19 组不处理
端到端验证
:题量、资产无丢失、练习不重复、历史笔记正确回填;可随时 /restore 回滚
影响:约 484 道重复副本将被标记隐藏(可见题量相应减少、不再重复),母题保留;所有学习资产不丢失并归一到母题。此为大批量写库操作,执行前已在本图说明范围。