LLM 智能体工程报告

在本模块中，我们将对比分析 Anthropic 提出的几种核心架构模式。开发者在使用大模型时，通常面临在“控制力”与“自主性”之间做出权衡。了解这些模式有助于构建更加鲁棒的生产级系统。

1.1 工作流模式 (Workflows)

工作流是指由开发者通过代码预先定义执行路径和状态转移的系统。LLM 在其中充当特定节点的数据处理器。Anthropic 推荐了以下几种常见的工作流模式：

• 提示链 (Prompt Chaining): 将复杂任务分解为一系列线性步骤。上一步的输出作为下一步的输入。适用场景：文档翻译与总结、按部就班的分析。
• 路由 (Routing): 使用 LLM 分类输入，并将其引导至专用的处理逻辑或子模型。适用场景：客户服务工单分发、多模态请求处理。
• 并行化 (Parallelization): 将任务拆分并同时分发给多个 LLM 实例（分片或投票），然后聚合结果。适用场景：代码审查、高容错信息提取。
• 评估者-优化器 (Evaluator-Optimizer): 一个模型负责生成结果，另一个模型（或确定的逻辑）负责评估并提供反馈，循环迭代直到满足标准。适用场景：代码生成、文案打磨。

1.2 自主智能体 (Autonomous Agents)

与工作流不同，智能体拥有自主决定下一步操作和调用哪些工具的能力（例如：ReAct 架构）。控制流是由大模型本身在运行时动态生成的。

1.3 架构选择标准

构建可靠 LLM 应用的最大障碍是难以量化模型的表现。本节综合了 OpenAI Evals、Anthropic 评估文档以及 EleutherAI LM Harness 的核心方法论，提出评估驱动开发 (Evaluation-Driven Development, EDD) 的范式。

2.1 什么是评估驱动开发 (EDD)？

类似于软件工程中的测试驱动开发 (TDD)，EDD 要求在编写 Prompt 或系统代码之前，先定义评估指标和测试数据集。每次修改系统后，必须运行全套回归测试以防止性能退化。

2.2 构建黄金数据集 (Golden Datasets)

黄金数据集是系统评估的基石。根据 OpenAI 的建议，一个好的黄金数据集应包含输入、上下文和期望输出（或评分指南），并遵循以下结构：

2.3 LLM 作为裁判 (LLM-as-a-judge)

传统 NLP 指标（如 BLEU, ROUGE）在评估生成式任务时表现不佳。当前行业最佳实践是使用能力最强的模型（如 GPT-4o 或 Claude 3.5 Sonnet）根据明确的评分量表 (Rubric) 对目标模型的输出进行打分。

2.4 流行框架整合

• OpenAI Evals: 强大的框架，支持创建模型评测集，特别适合对比 OpenAI 不同模型版本（如 gpt-3.5 升级到 gpt-4）的回归情况。
• EleutherAI LM Evaluation Harness: 开源社区标准。提供数百个零样本/少样本基准测试，适合评估自托管的开源模型的基础能力。

工具调用 (Tool Use) 是智能体连接物理世界的基础。本节探讨从 OpenAI 引领的 Function Calling 到 Anthropic 提出的 MCP (Model Context Protocol) 的演进。

3.1 现状：OpenAI Function Calling

OpenAI 通过 API 原生支持函数调用。开发者在 API 请求中传递工具的 JSON Schema，模型决定是否调用工具并返回遵循该 schema 的 JSON 参数。这种方法极大地提高了结构化输出的可靠性，但存在严重缺陷：强耦合性。每个 API 客户端都需要单独实现与各类数据源（如数据库、Github、Notion）的对接逻辑。

3.2 破局：Model Context Protocol (MCP)

Anthropic 推出的 MCP 旨在创建一个类似 USB-C 的标准化协议，将 AI 模型与数据源解耦。它采用客户端-服务器架构：

3.3 范式对比与选型

将大模型从实验室（Jupyter Notebook）搬到生产环境，需要解决一系列传统软件工程必须面对的挑战。本节总结了 OpenAI Cookbook 和业界构建 Agentic 系统的关键最佳实践。