RAG质量评测与持续优化

服务内容

评测集构建、召回/忠实度/引用正确率监测、badcase修复

交付流程（SOP）总工期 ≈ 34 天

RAG质量评测与持续优化交付SOP(AI草案) · 共 8 个节点

1. 1
   需求调研与评测目标确认≈3 天
   完成RAG系统现状调研，明确评测范围（知识库、模型版本、业务场景），输出《评测需求说明书》并与客户确认评测指标基线（召回率、忠实度、引用正确率）及目标阈值
2. 2
   评测集构建≈5 天
   基于真实业务场景构建评测集，覆盖典型问题、边界问题与长尾问题，样本量不低于约定规模（如300条），标注标准答案与引用来源，输出《评测集数据集》并通过质量抽检（抽检合格率≥95%）
3. 3
   基线评测与问题诊断≈5 天
   执行全量基线评测，输出召回率、忠实度、引用正确率三维评测报告，定位badcase并分类归因（召回缺失、生成幻觉、引用错误等），输出《基线评测报告》与《Badcase归因清单》
4. 4
   优化方案设计≈3 天
   针对badcase归因结果制定优化方案，包括知识库切片策略调整、检索策略优化、提示词工程改进等，明确各项优化措施的预期收益与验证方式，输出《优化方案设计书》并经客户评审通过
5. 5
   优化实施与Badcase修复≈7 天
   按优化方案执行知识库治理、检索参数调优、提示词迭代等修复工作，逐项验证badcase修复效果，修复率不低于约定目标（如≥80%），输出《优化实施记录》与《Badcase修复验证表》
6. 6
   复测与效果对比≈4 天
   使用同一评测集执行复测，输出优化前后对比报告，验证召回率、忠实度、引用正确率提升幅度达到约定目标，未达标项给出二次优化建议，输出《复测对比报告》
7. 7
   持续监测机制搭建≈4 天
   部署RAG质量持续监测机制，配置线上召回/忠实度/引用正确率定期评测任务与badcase自动告警规则，输出《监测方案与告警规则配置文档》并完成监测工具试运行
8. 8
   验收交付≈3 天
   汇总全部交付物（评测集、评测报告、优化记录、监测配置文档）提交验收，按项目验收审批流完成客户验收，核心指标达到合同约定阈值，输出《项目验收报告》并完成知识转移培训

可独立交付/购买项（4）

客户价值

问答质量可量化