Evidence-first:先绑定真实证据,再让 AI 分析
Page card
- Part:Part 1 / 通用分析
- 适用角色:开发、产品、设计、QA
- 使用场景:避免 AI 基于空泛问题给空泛建议
- 输出物:可引用的真实证据清单
Related jumps
Back to AI Workflow Sharing。相邻主题:AI Harness 101 · Context building · Hypothesis loop · AI-assisted review
Summary
重点:AI 越早接触真实证据,越少产生空泛建议。复杂任务应从真实对象开始,而不是从抽象问题开始。
适合先交给 AI 的输入不是“帮我看看哪里坏了”,而是具体证据:PR、issue、job log、URL、API response、file path。
适用场景
- Debug
- PR review
- CI failure
- 线上问题
- 需求可行性判断
- 跨团队问题定位
工作方式
- 先锁定真实对象:
PR、issue、Linear ticket、GitHub Actions run、job log、URL、API response、文件路径。 - 让 AI 先整理事实,而不是直接给结论。
- 明确区分已验证事实、合理推断和尚未确认的假设。
- 对外沟通时附证据链,不只给“可能是”。
- 如果证据不足,先设计下一步验证动作,而不是继续扩写结论。
判断框架
Fact: 已经从日志、代码、API response 或页面行为确认的事实
Inference: 基于事实做出的合理推断
Unknown: 当前还没有证据支撑的部分
Next check: 最小的下一步验证动作
可分享案例
- 从
CI job log定位 GitHub Packages token 问题。 - 从真实
audio URL区分资源可播放、duration 缺失、错误映射层。 - 从 student-facing payload 判断
joinCode是否能前端实现。
可复用规则
不要让 AI 在没有真实对象时下最终结论。 先把问题绑定到证据,再让 AI 解释。
- 输出结论时标注:
fact/inference/unknown。 - Debug 汇报优先给 evidence path,再给解释。
- 对高风险判断,要求 AI 给出验证命令、日志位置或代码路径。
References
- Hypothesis-driven debugging — 用科学方法解释 debugging:先收集数据、形成假设、做预测、验证结果,适合支撑
fact / inference / unknown的框架。 - Effective context engineering for AI agents — 说明 agent 需要管理 system instructions、tools、external data、message history 等完整 context state,支撑“先给证据,再让 AI 判断”。
- AGENTS.md — 把 setup commands、tests、conventions 放在可预测位置,给 agent 提供稳定上下文,适合说明 evidence/context 的可复用来源。
- Scattered Knowledge & AI Agents: The Hidden Blocker — 讨论知识分散如何影响 AI agent 判断,适合作为 evidence-first 和 source-of-truth 的反例材料。