BUG-0390project-14高已修复content-pipeline

LLM 模板批量生成的题目双盲审仅 66% 通过 —— 306 题同质化选项组 + 模板随机种子缺陷

发现：2026-10-01验证：2026-10-27置信度：95%

症状

题库上线后用户反馈干扰项荒谬（『正确答案过于明显』）、部分题目选项雷同形似送分题；抽检才暴露批次级系统性质量问题。

根因

模板化批量生成把『产出数量』当成了质量：固定随机种子让同模板输出高度相似，干扰项生成器缺乏『貌似合理』约束；没有入库前的人工双盲审与量化门禁，批次缺陷全量入库。

修复方案

1) 门禁前置：correctness/distractor 双盲审抽样 + 选项 Jaccard 相似度自动检测，超阈值整批打回； 2) 模板生成器修根因：seed 策略与干扰项约束重写（含『合法用法』类荒谬项过滤规则）； 3) 批次溯源标签入库，问题批次可整批回收重生成； 4) 质量指标（抽检通过率、同质化组数）按周出报告。

检测命令

对题库 options 两两算 Jaccard 相似度聚类；按生成批次分组抽检统计通过率

错误签名

100 题抽检双盲审通过率 66%：3 题 correctness FAIL、32 题干扰项 FAIL；306 题属 12 组同质化选项组（options Jaccard ≥ 0.85）、1 题重复；FAIL 87.5% 集中在模板生成器 M 批次（seededRandom(42) 固定种子）

技术信息

来源项目

project-14

标签

llm-generated-content, quality-gate, dual-blind-audit, distractor, batch-pipeline