BUG-0357project-13中已修复data-consistency

题库 10000 条中 83% 是克隆副本 —— 无内容指纹去重的语料膨胀

发现：2026-10-01验证：2026-10-09置信度：90%

症状

题库『规模 10000』虚高；随机抽题重复率高、RAG 检索被重复内容稀释、统计指标全部失真。

多来源合并导入时无内容指纹（规范化题干+选项 hash）去重；来源间的复制传播被当成新增。

1) 规范化指纹去重：题干去空白/统一标点/选项序列化后 sha1，同指纹保留最优来源； 2) 去重迁移落库（V107）+ 可用量/质检脚本进 CI，导入侧再防回潮； 3) 对外口径只报『去重后可用量』——规模注水最终会被用户戳穿。

指纹重复率 = 1 - 去重后数/原始数；>5% 即治理

questions.json 物理去重 10000→1703：83% 为克隆副本（含字段级微调的变体）

来源项目

project-13

涉及文件

questions.json

标签

deduplication, content-fingerprint, data-quality, rag, corpus