🛠️ 方法论与技术实现 (Methodology)

该框架分为两大核心部分：奖励机制 (CaRR) 与优化算法 (C-GRPO)。

1. 引用感知 Rubric 奖励 (CaRR)

CaRR 利用合成数据的内在组成结构，通过三个自动化步骤计算细粒度奖励：

• Rubric 初始化：利用 LLM $\mathcal{M}_{\text{rubric}}$ 将合成的多跳问题 $q$ 拆解为必须被找到的隐藏实体集 $\mathcal{E}_q = \{e_0, e_1, \dots\}$ 以及对应的单跳事实声明（Rubrics）集 $\mathcal{R}_q = \{r_1, \dots, r_m\}$。这一步在 RL 训练前离线完成。
• Step 1: 隐藏实体识别 (Hidden Entity Identification)：对于一条轨迹 $\mathcal{H}$，使用 Judge LLM 检查模型最终回复 $a_T$ 中是否显式提到了所需实体。只有所有关联实体都被找出的 rubric 才会进入下一环，记为 $\mathcal{R}_q^{\text{identify}}$。
• Step 2: 基于引用的 Rubric 判断 (Citation-based Rubric Judgment)：提取 $a_T$ 中引用的 URL，收集对应的网页内容 $\mathcal{C}^H$。Judge LLM 验证 $\mathcal{R}_q^{\text{identify}}$ 中的每个声明是否被网页上下文完全支撑 (Fully Supported)，筛选得到 $\mathcal{R}_q^{\text{support}}$。这杜绝了模型依靠内部知识捏造证据的幻觉。
• Step 3: 证据连通性检查 (Evidence Connectivity Check)：为防止模型用无关事实“刷榜”，构建一个二分图 $\mathcal{G}^H = \{\mathcal{E}_q^H \cup \mathcal{R}_q^{\text{support}}, E\}$，以最终答案实体 $e_0^H$ 为起点运行广度优先搜索 (BFS)。只有逻辑上能连通到答案的 rubrics 才被视为有效，记为 $\mathcal{R}_q^{\text{connect}}$。

最终的 Rubric 奖励定义为连通 rubric 所占的比例：$$R^H_r = \frac{|\mathcal{R}_q^{\text{connect}}|}{|\mathcal{R}_q|}$$

2. 引用感知组相对策略优化 (C-GRPO)

单纯奖励过程可能会让模型“为了凑步骤而偏离寻找正确答案的初衷”。因此，C-GRPO 的核心创新在于：仅对“最终答案正确 (Outcome = 1)”的轨迹施加 Rubric 奖励。

设一条轨迹的 Outcome 奖励为 $R^{\mathcal{H}_i}_o \in \{0, 1\}$，归一化后的 Rubric 奖励为 $\hat{R}^{\mathcal{H}_i}_r$，则混合奖励定义为：

$$R_i = (1 - \alpha) \cdot R^{\mathcal{H}_i}_o + \alpha \cdot R^{\mathcal{H}_i}_o \cdot \hat{R}^{\mathcal{H}_i}_r$$

随后利用 GRPO 标准的 Token 级别 Loss 目标函数 $\mathcal{J}(\theta)$ 进行优化。$\alpha$ 用于平衡结果与过程的权重（实验中设定为 0.3）。

4. 方法论与技术实现 (Methodology)

作者基于 Qwen2.5-VL-7B-Instruct 对 vSearcher 做混合强化学习训练（Hybrid RL）。训练分为两部分：环外 RL 通过 IoU 直接监督区域定位；环内 RL 让真实的 vReasoner 在线生成查询，用“这个裁剪是否真的帮助解决任务”作为奖励。

作者采用 GRPO（Group Relative Policy Optimization）做策略优化，并对多轮 Agent 环境做了适配，如全局优势估计。其目标函数为：

$$ J(\theta) = \frac{1}{M} \sum_{i=1}^{M} \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \left\{ \min \left[ \gamma_t(\theta) \hat{A}_t, \text{clip}(\gamma_t(\theta), 1-\epsilon, 1+\epsilon ) \hat{A}_t \right] - \beta \mathbb{D}_{\text{KL}}[\pi_\theta \| \pi_{\text{ref}}] \right\} $$

⚙️ 方法论与技术实现 (Methodology)

ASL 是一个严格的三阶段循环优化范式（PG $\rightarrow$ GRM $\rightarrow$ PM），每个阶段更新一个角色，冻结另外两个角色作为环境上下文：

Phase 1: Prompt Generator (PG) Training

基于前一轮迭代的元提示（Meta Prompt），PG 生成包含题目与候选答案的样本对 $(x_n, a_n)$。为了判断题目质量和难度，ASL 使用当前的 Policy Model 对题目 $x$ 执行 $M$ 次 rollouts 尝试解答，得到响应集合 $\{y_m\}_{m=1}^M$。接着，冻结的 GRM 对这些响应进行打分 $s_m \in \{0,1\}$。

奖励机制核心：信息熵驱动。PG 获得的强化学习 Reward $r_{PG}$ 是求解得分分布的熵：
$$ r_{PG} = \text{Entropy}(s_1, s_2, \dots, s_m) $$
Insight: 更高的熵意味着策略模型在此问题上的表现存在高度不确定性（即不会太简单导致全对，也不会太难导致全错），这精准地捕捉到了模型当前能力边缘（Boundary）的挑战性任务。

Phase 2: Generative Reward Model (GRM) Training

为了防止 GRM 在面对越来越难的生成问题时失去评估准度，此阶段更新 GRM。针对 $(x, y)$ 组合，GRM 生成 $N$ 次评估得分 $\{\hat{s}_n\}_{n=1}^N$。通过将 $\hat{s}$ 与基于严谨判则的参考分数 $s$ 对比，得出二分类的正确性指示信号作为 $r_{GRM}$ 更新 GRM。通过 RLVR 对齐，GRM 的评判变得更加稳健和 faithful。

Phase 3: Policy Model (PM) Training

Policy Model 利用 PG 生成的新任务进行自我演化。对每个题目 $x$，PM 进行 $N$ 次采样输出 $\{y_n\}_{n=1}^N$，由 GRM 打分得出 $\{s_n\}_{n=1}^N$：

• 强化信号：$\{s_n\}_{n=1}^N$ 直接作为 $r_{PM}$ 用于 Policy Model 的目标函数优化。
• 动态难度反馈机制：计算平均得分 $\bar{s} = \frac{1}{N} \sum_{n=1}^N s_n$。如果 $\bar{s} > 0.5$ 说明问题太简单，打上标记 $f = \text{HARDER}$；反之说明太难，打上 $f = \text{EASIER}$。带有标记的三元组 $(x, a, f)$ 最终沉淀为下一轮 PG 的训练数据 $D_{PG}^{(t)}$，由此形成难度动态自适应的 Curriculum Learning。

⚙️ 方法论与技术实现

模型基于 Qwen2.5-VL-7B-Instruct，实施了经典的后训练两阶段配方（Post-training Recipe）。

阶段一：SFT（监督微调冷启动）

这个阶段教会模型输出结构化的 Tag（如 <reason>, <text_search>, <img_search>）。训练时冻结了 Vision Encoder 和 Projector，仅在 LLM 基座上使用 LoRA 微调。采用标准的因果语言模型损失函数：

$$ \mathcal{L}_{\text{SFT}} = - \sum_{t=1}^{T} \log \pi_\theta(y_t^* \mid x, I, y_{

关键 Trick：训练中包含了 Web 返回的 <information> 内容，但在计算 Loss 时，将这些外部检索内容 mask 掉，不计算梯度。这样强制模型将拟合精力全部集中在“推理逻辑”和“工具格式”的生成上。

阶段二：在线强化学习 (Online RL via GRPO)

由于 SFT 模型往往会有“搜索过度”的问题，引入 GRPO (Group-Relative Policy Optimization) 算法。优化目标包含结果的绝对正确性 $s \in \{0,1\}$ 和输出格式合法性 $s_{\text{fmt}}$。总奖励为：

$$ R_{\text{total}} = (1 - \lambda_{\text{fmt}}) s + \lambda_{\text{fmt}} s_{\text{fmt}} $$

策略更新公式如下：

$$ \mathcal{L}_{\text{GRPO}} = \mathbb{E}_{i,t} [ \min ( \rho_t^{(i)} A^{(i)}, \text{clip}(\rho_t^{(i)}, 1-\epsilon, 1+\epsilon) A^{(i)} ) ] - \beta \text{KL}(\pi_\theta \parallel \pi_{\text{ref}}) $$