03 来源索引
返回 AI Harness
来源优先级
- OpenAI / Anthropic 官方工程博客、开发者文档、官方 guide。
- Google / Microsoft 等大厂官方云平台和工程博客。
- LangSmith / Langfuse / Braintrust 等 eval/observability 工具官方资料。
- 二手博客、awesome list、社区帖只做线索,不做主证据。
OpenAI
| 来源 | 主题 | 可用结论 |
|---|---|---|
| A practical guide to building agents | agent foundations、orchestration、guardrails | 可靠 agent 需要模型、工具、结构化指令、护栏和渐进式部署。 |
| New tools for building agents | Responses API、Agents SDK、tools、handoffs、guardrails、tracing | OpenAI 把 tools、handoffs、guardrails、tracing 作为 agent 应用 primitives。 |
| Safety in building agents | input guardrails、PII、jailbreak、trace graders、tool approvals | 对不可信输入用结构化字段、隔离、tool approval 和 human approval 降低风险。 |
| Evaluate agent workflows | traces、graders、datasets、eval runs | 从 trace 调试行为,再沉淀 dataset 和 eval runs 做可重复评估。 |
| How to implement LLM guardrails | guardrail cookbook | 可作为实现输入/输出 guardrails 的代码参考。 |
| Building Governed AI Agents | governed agents、scaffolding | 作为 governance 和 tool policy 的补充参考;优先级低于官方 guide。 |
Anthropic
| 来源 | 主题 | 可用结论 |
|---|---|---|
| Trustworthy agents in practice | model / harness / tools / environment | Anthropic 明确把 harness 定义为模型运行其上的 instructions 和 guardrails。 |
| Effective context engineering for AI agents | context、tools、examples、message history、runtime retrieval | context engineering 是管理完整 context state,不是只改 prompt。 |
| Writing effective tools for agents | tool design、high-signal output、eval-driven iteration | 工具要清晰、少重叠、返回高信号结果,并通过 eval/transcript 迭代。 |
| Building Effective AI Agents | workflow patterns、simplicity、transparency、ACI | 简单、透明、良好的 agent-computer interface 是可靠 agent 的基础。 |
| Demystifying evals for AI agents | agent harness、eval suite、evaluation harness、outcome | 评估 agent 时是在评估 model + harness;要看 trajectory 和 final outcome。 |
| Harness design for long-running application development | long-running agents、context reset、handoff、self-evaluation | 长任务需要 context reset、structured handoff 和独立 evaluator。 |
| How we built our multi-agent research system | multi-agent、tool design、context/memory | 可作为复杂 agent 的旁证,尤其是工具描述、context 管理和子代理 handoff。 |
| 来源 | 主题 | 可用结论 |
|---|---|---|
| A dev’s guide to production-ready AI agents | production agents、trajectory eval、sandbox/canary/prod | agent 评估要看完整决策路径,部署要分 sandbox、canary、production。 |
| Startup technical guide: AI agents | ADK、observability、evaluation、context management | ADK 把 context management、evaluation、observability、containerization、multi-agent composition 放进生产能力。 |
| Agent Factory Recap: Securing AI Agents in Production | network isolation、logging、tool safeguards | 安全 harness 需要网络隔离、失败日志、工具保护和审计线索。 |
Microsoft
| 来源 | 主题 | 可用结论 |
|---|---|---|
| Agent Factory: Top 5 agent observability best practices for reliable AI | Azure AI Foundry、evals、red teaming、CI/CD、dashboards | observability 要覆盖开发、CI/CD 和生产,并纳入 safety/governance。 |
| Agent evaluators for generative AI | agent evaluators、workflow quality | 生产级 agent 需要评估每一步 workflow,不只是 final output。 |
| Observability for AI Systems | multi-turn trace、evaluation、governance | AI observability 的关联范围应覆盖完整 conversation / memory lifecycle。 |
Testing / Browser Automation
| 来源 | 主题 | 可用结论 |
|---|---|---|
| Playwright Best Practices | user-visible behavior、test isolation、locators、web-first assertions、trace | E2E 应验证用户可见行为,保持测试隔离,优先语义 locator 和自动等待断言。 |
| Playwright homepage | Playwright Test、CLI、MCP | Playwright 同时覆盖确定性测试、agent 浏览器自动化和 MCP 场景,但长期质量门禁仍应落成测试代码。 |
| Testing Library Guiding Principles | user-centric testing | 测试越接近软件真实使用方式,越能提供信心。 |
| Static vs Unit vs Integration vs E2E Testing for Frontend Apps | Testing Trophy、confidence / cost tradeoff | 测试分层应围绕信心、速度和维护成本取舍,不是追求某一种测试形态。 |
| Chrome DevTools MCP for your AI agent | Chrome DevTools MCP、runtime debugging | Chrome DevTools MCP 给 coding agents 浏览器运行时观察和调试能力。 |
| Chrome DevTools for agents 1.0 | DevTools for agents、quality audits、emulation、memory leaks | Chrome DevTools for agents 适合运行时验证、审计、性能和真实浏览器问题诊断。 |
LangSmith / LangChain
| 来源 | 主题 | 可用结论 |
|---|---|---|
| AI Agent Observability: Tracing, Testing, and Improving Agents | traces、datasets、offline/online evals、production feedback | 生产 trace 是改进 agent 的燃料;失败样例应进入 dataset。 |
| LangSmith Evaluation | offline evaluation、online evaluation、datasets | 可连接本库 [[10 - 项目 Projects/LangSmith Agent Engineer Guide/06-evaluation-observability-playbook |
二手线索
- What is an AI agent harness? — 对 harness 作为 control plane 的解释清晰,可作概念补充。
- Harness Engineering — 适合连接旧的 AI Harness 101 参考。
- GitHub awesome list / Medium / Reddit 只作为发现来源,不要作为本包主证据。