Evidence-first:先绑定真实证据,再让 AI 分析

Page card

  • Part:Part 1 / 通用分析
  • 适用角色:开发、产品、设计、QA
  • 使用场景:避免 AI 基于空泛问题给空泛建议
  • 输出物:可引用的真实证据清单

Back to AI Workflow Sharing。相邻主题:AI Harness 101 · Context building · Hypothesis loop · AI-assisted review

Summary

重点:AI 越早接触真实证据,越少产生空泛建议。复杂任务应从真实对象开始,而不是从抽象问题开始。
适合先交给 AI 的输入不是“帮我看看哪里坏了”,而是具体证据:PRissuejob logURLAPI responsefile path

适用场景

  • Debug
  • PR review
  • CI failure
  • 线上问题
  • 需求可行性判断
  • 跨团队问题定位

工作方式

  1. 先锁定真实对象:PRissueLinear ticketGitHub Actions runjob logURLAPI response、文件路径。
  2. 让 AI 先整理事实,而不是直接给结论。
  3. 明确区分已验证事实、合理推断和尚未确认的假设。
  4. 对外沟通时附证据链,不只给“可能是”。
  5. 如果证据不足,先设计下一步验证动作,而不是继续扩写结论。

判断框架

Fact: 已经从日志、代码、API response 或页面行为确认的事实
Inference: 基于事实做出的合理推断
Unknown: 当前还没有证据支撑的部分
Next check: 最小的下一步验证动作

可分享案例

  • CI job log 定位 GitHub Packages token 问题。
  • 从真实 audio URL 区分资源可播放、duration 缺失、错误映射层。
  • 从 student-facing payload 判断 joinCode 是否能前端实现。

可复用规则

不要让 AI 在没有真实对象时下最终结论。 先把问题绑定到证据,再让 AI 解释。

  • 输出结论时标注:fact / inference / unknown
  • Debug 汇报优先给 evidence path,再给解释。
  • 对高风险判断,要求 AI 给出验证命令、日志位置或代码路径。

References

  • Hypothesis-driven debugging — 用科学方法解释 debugging:先收集数据、形成假设、做预测、验证结果,适合支撑 fact / inference / unknown 的框架。
  • Effective context engineering for AI agents — 说明 agent 需要管理 system instructions、tools、external data、message history 等完整 context state,支撑“先给证据,再让 AI 判断”。
  • AGENTS.md — 把 setup commands、tests、conventions 放在可预测位置,给 agent 提供稳定上下文,适合说明 evidence/context 的可复用来源。
  • Scattered Knowledge & AI Agents: The Hidden Blocker — 讨论知识分散如何影响 AI agent 判断,适合作为 evidence-first 和 source-of-truth 的反例材料。