中优先级待目标项目实现
Z1 有用/无用反馈闭环
在推荐理由卡增加有用/无用反馈,记录 recommendation_id、reasonCode、版本与去重主体;归属校验后按有效反馈样本聚合。契约已随网站附带,产品实现待办。
目标:Z1Space 源码仓库
涉及:src/features/feedback/;server/routes/feedback;migrations/feedback.sql
预期效果:从实现阶段用例转向真实反馈数据,为后续提示词和检索优化提供证据。
验证:完成提交、重复提交、匿名限制、失败重试和 reasonCode 报表测试。
评分:重要程度 4/5 × 实现难度 3/5
替代方案:缺少源码和真实用户流量时,先用可导出的表单原型验证原因分类,不宣称已经上线。
中优先级待目标项目实现
模型选型对比与成本口径
用同一评测集比较 DeepSeek 与至少一个可替代模型或 mock 基线,记录质量、P50/P95 延迟、输入输出 token 和估算成本。
目标:enterprise-rag-workbench 源码仓库
涉及:tests/eval/model_matrix.yml;tools/benchmark_models.py;reports/model-selection.md
预期效果:把模型选择从偏好陈述变成可解释的产品与工程权衡。
验证:同一数据、参数和重复次数运行;报告披露价格日期、失败率和置信范围。
评分:重要程度 4/5 × 实现难度 4/5
替代方案:API 成本或密钥受限时用 mock 验证管线,并把质量结论标为未验证。
中优先级已在项目源码实现
灰度、回滚与可观测性设计
已核对批量写入 API、X-Request-ID → 领域事件 trace_id、观测测试和 docs/rollout.md。发布设计已完成;应用内关联不等于跨服务 span 链,实际灰度、回滚演练和新版容量仍待验证。
目标:agent-tree 源码仓库
涉及:docs/rollout.md;app/observability.py;app/event_bus.py;tests/test_observability.py
预期效果:说明如何从本机单实例压测走向可控发布,而不把设计方案包装成真实线上灰度。
验证:本轮读取源码与测试声明;发布策略是设计稿,本轮未执行底层测试或真实灰度。
评分:重要程度 4/5 × 实现难度 3/5
替代方案:在目标机器批准观察窗口与基线,演练正确性故障、长尾延迟和回滚;对批量写入作同环境比较,避免预设 20 entries/s 为硬上限。
中优先级已在项目源码实现
补齐产品行为指标
定义并持久化 query_submitted、citation_clicked、refusal_shown、retry_after_refusal;工作台在引用核对、拒答后重问和有帮助/需要改进时联动记录。
目标:enterprise-rag-workbench 源码仓库
涉及:src/enterprise_rag/quality/;src/enterprise_rag/ui/app.js;docs/QUALITY_LOOP.md;tests/test_quality_feedback.py
预期效果:同时观察技术质量与用户行为,减少只用覆盖率或离线分数判断产品价值。
验证:事件聚合、反馈到 Bad Case、隐私字段边界和拒答事件均由 65 项回归覆盖;没有真实用户时不对点击率做业务推断。
评分:重要程度 4/5 × 实现难度 3/5
替代方案:无真实用户时只验证事件模型和合成数据,不对点击率或重试率做业务推断。
中优先级待目标项目实现
提示词注入与越权检索测试
已有确定性验收中的 prompt_injection_rejected 和相关接口测试;仍需扩展恶意文档、越权、模型诱导与真实模型攻击场景。
目标:enterprise-rag-workbench 源码仓库
涉及:tests/security/prompt_injection.jsonl;tests/security/test_retrieval_boundaries.py;docs/security-model.md
预期效果:把安全边界纳入可回归验收,而不是依赖提示词自觉。
验证:原始验收报告中的安全样例已通过;不据此声称全面注入防护或跨租户隔离。
评分:重要程度 4/5 × 实现难度 3/5
替代方案:先写威胁模型与离线样本;在没有租户和权限实现时,不声称通过跨租户测试。