07-resources-and-portfolio

07. 资料清单、面试准备与作品集

这份清单以官方文档优先，辅以高质量工程文章。阅读时不要追求一次性读完，最好和 05-12-week-growth-plan.md 的每周练习配合。

官方资料

LangSmith

• LangSmith docs
  LangSmith 总入口，先读全局概念和导航。

• LangSmith Observability
  学 trace、monitoring、feedback loop，是介入 LangSmith 的核心入口。

• Trace LangChain apps
  学如何给 LangChain 应用接入 tracing。

• Trace LangGraph apps
  学如何观察 graph workflow 的执行过程。

• LangSmith Evaluation
  学 dataset、experiment、evaluator。

• Evaluation concepts
  建立评估概念模型。

• Manage datasets
  学如何沉淀失败样例和测试集。

• Manage prompts
  学 prompt versioning、tag、environment。

• Attach user feedback
  学如何把用户反馈和 trace 关联。

• LangSmith Dashboards
  学线上监控。

• LangSmith Alerts
  学异常提醒。

• CI/CD pipeline example
  学如何把 eval 放进发布流程。

LangChain

• LangChain JS Agents
  适合 TypeScript / FE 背景入门 agent abstraction。

• LangChain JS Tools
  学 tool calling、工具 schema、工具设计。

• LangChain Structured Output
  学结构化输出，非常适合前端工程师切入。

• LangChain JS RAG
  学 TypeScript 方向的 RAG 实现。

• LangChain Retrieval
  学 retrieval 的通用概念。

• LangChain Guardrails
  学输入、输出、安全边界。

LangGraph

• LangGraph overview
  理解 LangGraph 为什么适合 stateful agent workflow。

• LangGraph Workflows and Agents
  学常见 workflow 和 agent 模式。

• LangGraph Graph API
  理解 state、node、edge。

• LangGraph Agentic RAG
  练习 RAG + agent workflow。

工程文章

• Anthropic: Building Effective Agents
  非常推荐。核心思想是先用简单 workflow，只有 eval 证明需要时再增加复杂度。

• Anthropic: Writing effective tools for agents
  Agent 工程中最实用的文章之一，适合学习工具设计。

• Anthropic: Demystifying evals for AI agents
  帮助建立 eval 心智模型。

• OpenAI: A practical guide to building agents
  覆盖 agent 场景判断、guardrails、handoff、产品化。

• OpenAI Guardrails Cookbook
  学如何实现输入和输出防护。

• OpenAI Latency Optimization
  学延迟优化。

面试常见能力要求

你需要能讲清楚：

• Tool calling 和普通 API 调用有什么区别？
• 如何设计一个安全、稳定的工具 schema？
• RAG pipeline 的主要失败模式是什么？
• 如何判断一个回答是否 grounded？
• LangSmith trace 能帮你定位什么问题？
• Dataset 和 experiment 如何防止 prompt regression？
• 如何设计 LLM-as-judge？
• 如何处理 prompt injection？
• Agent 执行写操作前如何做权限和确认？
• 如何优化 Agent 的 latency 和 cost？
• 什么时候应该用 LangGraph，而不是普通 Agent loop？

作品集建议

作品 1：文档问答 Agent

必须展示：

• 文档 ingest
• RAG
• citation
• no-answer
• LangSmith trace
• dataset
• experiment
• failure analysis
• prompt version comparison

Case study 结构：

# 文档问答 Agent Case Study
 
## Problem
 
用户需要从复杂文档中获得可靠答案。
 
## System Design
 
- Ingestion:
- Retrieval:
- Generation:
- Citation:
- No-answer:
 
## Observability
 
- Trace:
- Metadata:
- Dashboard:
 
## Evaluation
 
- Dataset:
- Metrics:
- Experiment:
- Results:
 
## Failure Analysis
 
- Failure categories:
- Fixes:
- Regression prevention:
 
## Outcome
 
- Quality:
- Latency:
- Cost:
- Remaining risks:

作品 2：工作流 Agent

必须展示：

• LangGraph state
• nodes / edges
• multi-step workflow
• tool calling
• human approval
• checkpoint
• trace
• eval
• dashboard

适合题目：

• PR review assistant
• research assistant
• customer support triage agent
• internal docs + ticket creation agent
• data analysis assistant

展示重点：

• 为什么需要 workflow？
• state 如何设计？
• 哪些步骤需要 human approval？
• 工具权限如何控制？
• 如何定位失败？
• 如何防止上线回退？

简历表达方式

弱表达：

Built an AI chatbot using LangChain.

强表达：

Built a TypeScript RAG agent with LangChain and LangSmith, including cited answers, no-answer handling, trace-based debugging, a 50-case regression dataset, prompt version experiments, and dashboard monitoring for latency, cost, and negative feedback.

弱表达：

Used LangSmith for monitoring.

强表达：

Integrated LangSmith tracing across model calls, tool calls, and retrieval spans; converted negative-feedback traces into eval datasets and used experiments to validate prompt and retrieval changes before release.

判断作品集是否有说服力

好的 Agent 作品集不只是截图，而是能证明你理解工程闭环：

• 有真实失败样例。
• 有 trace 分析。
• 有 dataset。
• 有 experiment。
• 有质量对比。
• 有上线监控。
• 有成本和延迟意识。
• 有安全和权限边界。

最有说服力的一句话：

我不是只做了一个能回答问题的 demo，而是做了一个可以被调试、评估、迭代和上线监控的 Agent 系统。