🔍 研究背景与动机
基于LLM的智能体已成为复杂任务求解的核心范式，这些智能体依赖有效的工具使用策略（tool-use policy）来协调目标分解、工具选择、参数构造及输出综合等多种相互依赖的能力。然而，在实际应用中，实现可靠的工具使用极具挑战性——现实任务往往涉及跨越多步骤的长视野决策链，其中任一环节出现错误（规划失误、工具选择错误、参数调用失败、综合不准确）都可能导致整体失败。更棘手的是，监督信号通常只在整个交互结束时才能获得，将多个潜在的错误来源折叠成单一的终态信号，产生严重的信用分配难题（credit assignment problem）。
现有的优化方法主要分为两类，均存在根本性缺陷。第一类是整体式（Monolithic）优化方法（如OPRO、PromptBreeder、EvoPrompt），对整个智能体提示做全局黑盒搜索，容易将不同模块的行为相互纠缠，导致修复一个错误时破坏其他已有的能力。第二类是单方面（Single-Aspect）优化方法（如AdaPlanner、EASYTOOL、DRAFT），仅对某一单一组件（如规划或工具调用）进行孤立优化，忽视了长视野轨迹中的跨模块错误传播问题。
针对上述两类方法均无法同时实现精准错误修正与多模块协调的困境，本文提出了EVOTOOL框架，将工具使用策略分解为四个独立但协作的模块（Planner、Selector、Caller、Synthesizer），并通过无梯度进化范式对各模块进行有针对性的优化，从根本上解决信用分配难题。
💡 核心贡献
- 提出EVOTOOL框架，将LLM工具使用策略分解为Planner（目标分解）、Selector（工具选择）、Caller（参数构造与调用）、Synthesizer（输出综合）四个模块，通过无梯度进化范式对可进化的模块规格参数Θ进行迭代优化，同时保持基础LLM权重冻结，从而避免昂贵的微调开销。
- 提出轨迹级责任归因（Trajectory-Grounded Blame Attribution）机制：利用交互轨迹中的中间诊断信息（工具选择结果、参数有效性信号、工具执行结果、综合接地性信号）为各模块计算归因分数，精准定位导致失败的责任模块，将终态信号转化为模块级修复目标。
- 提出反馈引导的靶向突变（Feedback-Guided Targeted Mutation）机制：针对被归因的责任模块，利用Mutator LLM基于轨迹证据生成自然语言形式的改进反馈，仅修改该模块的规格而冻结其余模块，最大限度地减少对无关能力的意外干扰，同时保证修改的可解释性。
- 提出多样性感知种群选择（Diversity-Aware Population Selection）机制：维护一个策略变体种群，基于实例级"谁赢"准则而非全局平均性能来保留候选策略，防止种群收敛到单一策略模式，保留针对异质任务分布的互补能力，有效避免过早收敛。
- 在ToolBench、RestBench、τ-Bench、BFCL四个多样化benchmark上验证EVOTOOL，在GPT-4.1和Qwen3-8B两种骨干模型上一致超越最强基准超过5个百分点，且在不同数据集和模型之间展现出优越的迁移性和Token效率，证明了框架的通用性与实用性。
⚙️ 技术方法详解
EVOTOOL构建了一个自进化优化循环（Self-Evolving Optimization Loop）。系统维护一个候选模块规格的种群P = {Θ(i)}，其中每个Θ包含四个模块的规格（提示模板、工具调用模板、轻量格式规则等）。在每个进化代（generation）中，从种群中采样一个父代策略Θ，在训练样本上执行工具使用策略，收集episode记录e = (x, τ, ŷ, R(x,ŷ))。
第一步：责任归因。Blamer LLM分析轨迹τ中的结构化诊断事件，输出各模块的归因分数b_π(e) ∈ [0,1]，分数最高的模块π*即为修复目标。系统会提取四类关键信号：工具选择失误（是否选错工具）、参数有效性违反（schema错误）、工具执行结果异常（API报错）、综合接地性缺失（输出与工具结果不符）。
第二步：靶向突变。Mutator LLM接收episode记录e和目标模块π*，生成自然语言形式的针对性反馈F(e, π*)，解释错误模式并提出具体局部修改建议。系统仅将该修改应用于目标模块，产生子代候选Θ'，当且仅当Θ'在mini-batch上优于父代时才将其加入种群。
第三步：多样性种群选择。在每代结束时，利用保留集S_sel评估所有候选。候选仅当在至少一个实例上赢得胜利时才被保留，防止全局平均贪心选择抹去针对特定任务子集的优势策略。最终返回种群中表现最优的候选作为输出策略。整个框架无需梯度计算，完全基于自然语言反馈和进化搜索，极大降低了计算成本。
📋 具体真实案例与示例
📋 论文中的实际实验场景
场景一：工具调用失败的责任归因
假设Agent需要在RestBench（TMDB/Spotify数据库）上完成一个多步任务："找到某导演的最新电影，然后为这部电影创建一个Spotify播放列表"。在某次轨迹中，Selector正确选择了TMDB search接口，但Caller模块在构造参数时使用了错误的字段名（如将`query`误写为`search_query`），导致API返回400错误。Blamer LLM分析轨迹后，将Caller模块的归因分数定为0.92（最高），Mutator随即针对Caller生成反馈："当前参数构造规则未明确字段名称映射，建议加入工具文档对照表以精确匹配schema要求"，并仅修改Caller规格，不触动其他模块。
场景二：多样性保留防止过早收敛
在τ-Bench（零售/航空场景）的实验中，存在两类能力截然不同的策略：策略A擅长零售任务（多工具顺序调用），策略B擅长航空任务（需要严格日期验证）。若使用全局平均选择，可能保留整体平均分更高的策略A，彻底丢弃策略B。EVOTOOL的实例级胜者准则会同时保留两者，因为策略B在航空实例上仍能赢得胜利。这种多样性保留使EVOTOOL在τ-Bench Retail上达到64.8、Airline上达到39.1，相比其他方法均有明显提升。
💡 核心洞见
本文揭示了LLM Agent优化的根本矛盾：整体优化会互相纠缠，局部优化会忽视传播。EVOTOOL通过轨迹诊断实现"外科手术式"精准修复，是解决长视野工具使用信用分配问题的重要突破。
📊 实验结果
| 方法 |
ToolBench(Avg) |
RestBench(Avg) |
τ-Bench(Avg) |
BFCL(Avg) |
Overall |
| ReAct（GPT-4.1） | 63.6 | 73.4 | 47.9 | 56.0 | 60.6 |
| EvoPrompt（GPT-4.1） | 66.4 | 76.9 | 48.6 | 62.1 | 63.8 |
| DRAFT（GPT-4.1） | 75.8 | 84.8 | 38.8 | 54.9 | 64.9 |
| EVOTOOL（GPT-4.1） | 77.7 | 86.2 | 52.0 | 63.1 | 70.6 |
| ReAct（Qwen3-8B） | 54.2 | 63.5 | 23.8 | 52.0 | 49.0 |
| EVOTOOL（Qwen3-8B） | 66.2 | 74.6 | 25.8 | 56.7 | 57.0 |
EVOTOOL在GPT-4.1上综合分达到70.6，比最强单一基准DRAFT高出5.7个百分点。在τ-Bench（最难的现实场景benchmark）上，EVOTOOL以52.0的平均分大幅超越DRAFT的38.8分（+13.2 pp），证明了多样性感知选择对复杂现实任务的关键价值。在轻量级Qwen3-8B上同样超越所有基准超过5点，验证了框架跨模型的泛化能力。
🚀 研究意义与展望
EVOTOOL为LLM智能体工具使用策略优化提供了一条可扩展、免梯度的进化路径。其核心价值在于：通过精准的模块级责任归因，将模糊的终态失败信号转化为可操作的修复目标，从根本上解决了长视野任务中的信用分配难题。未来工作可探索将EVOTOOL扩展到更多工具类型（代码执行、数据库、多模态API），以及与强化学习方法的结合，进一步提升工具使用策略的鲁棒性和自适应能力。
🏷️ 关键词标签
LLM Agent
工具使用策略
进化优化
责任归因
信用分配
多样性选择
免梯度优化