🛠 方法论与技术实现 (Methodology & Implementation)

SpecRLBench 将基于规范的强化学习建模为带有标签函数（Labeling Function）的马尔可夫决策过程 (MDP)：$\mathcal{M} := (\mathcal{S}, \mathcal{A}, P, r, \gamma, d_0)$。

1. LTL 语义与标签系统：
环境实现了一个底层的标签映射 $L: \mathcal{S} \rightarrow 2^{AP}$，在每个时间步计算并返回当前状态满足的原子命题集合（Atomic Propositions, AP）。例如，在机械臂任务中，AP 包含 `grippers_green`（夹爪碰到绿区）或 `arm_blue`（机械臂本体碰到蓝区），支持不同细粒度的时序约束检测。

2. 观测空间解耦设计：
为了不绑定特定的网络架构，基准测试的 Observation 被结构化为两部分：

• $s_{AP}$ (命题相关)：如彩色目标区域的位置、相对距离或视觉图像，对应外部任务环境的感知。
• $s_{\neq AP}$ (命题无关)：如智能体的本体感受（Proprioceptive）或运动学特征（关节角度、速度等），对应机器人内在状态。

3. 奖励机制的开放性：
SpecRLBench 在默认配置下提供 0 奖励，旨在测试算法本身的 内在奖励塑造（Reward Shaping）能力 或 目标达成率验证。环境返回 Ground-truth 命题赋值，用户可以根据自身算法灵活构建基于自动机 (Automaton) 的奖励函数机制。

方法论与技术实现 (Methodology & Technical Implementation)

本文在理论证明和算法设计上非常精妙。首先，为了证明Hardness，作者展示了如何将底层的加密算法逻辑“分叉（Forks）”。

1. 困难性证明的核心逻辑：分布分叉（Distribution Forks）

作者将密码学中的硬问题（如Regev加密算法的解密函数）用深度为2的阈值电路表示。关键在于，同一个解密函数可以被“两种”完全不同的电路编码。作者构造了这样一种“分叉”：

• 当最终答案为 0 时，思考者A的中间CoT全是 0（平凡泄露），而思考者B暴露出解密的有用信息。
• 当最终答案为 1 时，思考者B的中间CoT全是 1（平凡泄露），而思考者A暴露出有用信息。

因此，如果你只能被动地接收混合数据，你永远无法从任何单一思考者那里拼凑出完整的解密逻辑。

2. 破局之道：基于 AdaBoost 的自适应主动学习算法 (Algorithm 1)

面对混合CoT的困难，作者给出了一个计算高效的解决方案。其实质是将多思考者学习转化为一个集成学习（Ensemble Learning）问题，使用AdaBoost范式：

假设存在一个易处理的单思考者基分类器查找器（Tractable CONSISTENT Oracle）：

1. 初始化分布： 维护一个在端到端（E2E）数据集 $S_{\text{e2e}}$ 上的权重分布 $D^{(1)}$。
2. 迭代轮次 $k = 1, \dots, K$：
   • 根据当前分布 $D^{(k)}$ 采样一个极小的数据子集 $\mathcal{S}_{k}$（大小为 $M_\star$，仅依赖于VC维，完全独立于目标精度 $\varepsilon$）。
   • 主动查询： 要求由同一位（未知的）思考者提供这批数据 $\mathcal{S}_{k}$ 的完整CoT轨迹。
   • 利用CONSISTENT算法，找到一个在这些CoT轨迹上一致的弱分类器 $\hat{f}_k$。只要批量够小，单思考者必然能提供一个比随机猜略好（误差 $\epsilon_k \le 0.25$）的弱分类器。
   • 根据 $\hat{f}_k$ 在整个分布上的误差，计算权重 $\alpha_k = \frac{1}{2} \log(\frac{1 - \epsilon_k}{\epsilon_k})$，并更新数据分布 $D^{(k+1)}$。
3. 输出集成模型： 最终的模型是一个加权多数表决器： $$ \hat{h}_K(x) = \arg\max_{b\in\{0,1\}} \sum_{k=1}^K \alpha_k \mathbb{1}[\hat{f}_k^{\text{e2e-}T}(x) = b] $$

通过 $\tilde{O}(\log m)$ 轮次的主动查询，该算法不仅打破了多思考者带来的密码学困难，还能在总计算量和样本量上保持高效。

⚙️ 方法论与技术实现

HyLo 的训练范式分为三个核心模块：结构初始化、两阶段轻量级微调，以及面向 64K 的显存优化蒸馏技术。

1. 结构初始化 (Initialization)

要复用预训练模型权重，必须妥善地将 Attention 参数过渡给混合模块。对于 MLA，HyLo 采用了 SVD（奇异值分解）方法。以 Query 投影矩阵 $\mathbf{W}^Q \in \mathbb{R}^{(H\cdot d_h) \times d}$ 为例，对其进行 SVD 分解：

$$ \mathbf{W}^Q = \mathbf{U}_Q \mathbf{\Sigma}_Q \mathbf{V}_Q^\top $$

从而得到低秩投影 $\mathbf{W}^{QA} \leftarrow \mathbf{\Sigma}_Q[: r_q] \mathbf{V}_Q[: r_q, :]^\top$ 及 $\mathbf{W}^{QB}$。对于线性模块 GDN (Gated DeltaNet)，保留了原 Transformer 的 MLP 和 RMSNorm，并对 K/V 权重进行分组查询扩展 (GQA Expansion) 和维度截断，以适应线性RNN的隐层维度。

2. 两阶段轻量级微调 (Two-Stage Light Fine-Tuning)

Stage I: Enhanced-ILD (增强型中间层蒸馏)

不仅对齐教师与学生的隐藏状态 $h_\ell$，还引入了额外的 Token-Mixer 输出对齐 $a_\ell$（即对齐 Transformer 注意力输出与 MLA/Mamba/GDN 的输出），损失函数如下：

$$ \mathcal{L}_{\text{ILD}} = \sum_{\ell=1}^L \left( \left\| h_\ell^{(s)} - h_\ell^{(t)} \right\|_2 + \left\| a_\ell^{(s)} - a_\ell^{(t)} \right\|_2 \right) $$

实验证明，这一改进在 GSM8K 等推理任务上能带来稳定的精度提升。

Stage II: 长上下文 SFT 蒸馏

将通过 Stage I 的混合层组装后，将上下文长度从 2K 扩展到 8K 甚至 64K。采用输出级 KL 散度蒸馏（Teacher-guided SFT）。

3. 显存优化的 64K 长上下文蒸馏系统设计

在 $T=65,536, V=128,256$ 时，单个 Logit 张量在 bf16 下就高达 16GB，标准蒸馏会立刻引爆显存。HyLo 团队祭出了组合拳：

• Chunked KL Divergence: 对序列维度进行分块（Chunk=4096），按块计算 Softmax，避免物化完整的 $(T, V)$ 矩阵。
• Triton-Fused KL (Online Softmax): 利用 FLA 的 Triton kernel，在单算子内部完成 Log-sum-exp 累加，梯度在 Forward 期间 in-place 回写，省去了反向传播的 Activation 存储。
• Fused Hidden-State KL (Logit-Free KD): 在 64K 时最激进的优化。Teacher 完全跳过最后的 LM Head 运算，仅返回 Hidden States。通过 Fused 算子，在不物化 Logit 矩阵的情况下直接使用 LM Head 权重计算隐层 KL 散度。

⚙️ 方法论与技术实现

1. Rubric 的数学定义：

对于每个病例 $C$，评估标准 $R$ 被定义为一组带权重的标准集合：

$$R = \{(c_i, w_i) | i = 1, \dots, k\}$$

其中 $c_i$ 是具体的临床记录要求（自然语言表述，通常以"Reward for"开头），$w_i > 0$ 表示其临床重要性的权重数字。

对于一条生成的病历笔记 $n$，其基于标准 $R$ 的归一化评分计算公式为：

$$S(n, R) = \frac{\sum_i w_i \cdot s_i(c_i)}{\sum_i w_i} \times 100$$

其中 $s_i(c_i) \in [0, 1]$ 是LLM-based Scoring Agent评估该条指标满足程度所给出的分数。

2. 严格的临床验证拦截 (Validation Criterion)：

为了确保医生写的Rubric不是“自嗨”，论文设计了严格的校验。医生必须先直觉盲评选出一篇最差笔记（$n_{\text{worst}}$）和一篇最好笔记（$n_{\text{best}}$）。只有当基于该Rubric通过LLM Agent进行三次独立打分时，满足以下条件，该Rubric才被接受为“有效”：

$$\max_j S(n_{\text{worst}}, R, j) < \min_j S(n_{\text{best}}, R, j)$$

这保证了自动打分的区分度底线——哪怕对最好笔记的最苛刻打分，也要高于对最差笔记的最宽松打分。

3. 混合评估模型 (Hybrid Evaluation Model)：

作者提出了将Author（谁写Rubric）和Scorer（谁去拿Rubric给结果打分）解耦的混合范式。最终推荐方案是：保留少量“Clinician author + LLM scorer”作为高质量的基准和Ground Truth，引入海量“LLM author + LLM scorer”作为低成本高频回归测试的主力。

方法论与技术实现 (Methodology)

研究方法紧密围绕 CUE 准则展开：

1. 结构化多层级 Reference (Utility)

因为医疗场景不该只有一个 ground truth，作者设计了三个子集构成的 Reference：

• $P(x^*)$ Plausible set (合理集): 所有与病史不矛盾的医学上可能的情况。
• $H(x^*)$ Highly likely set (极有可能集): 证据支撑最强的主攻诊断。
• $S(x^*)$ Safety-critical set (安全关键集): 可能危及生命且无法排除的高风险情况。

利用 GPT-5.2 等多个强模型集成 (Majority Vote) 生成这三个集合。模型预测的诊断列表记为 $D(x)$。基于此定义了结构化评估指标：

• Plausibility (合理性/精确率): $\text{Plausibility}(D(x), P(x^*)) = \frac{|\{d \in D(x) : \exists d_p \in P(x^*) \text{ s.t. } d \approx d_p\}|}{|D(x)|}$
• H-Coverage (高度可能覆盖率/召回率): $\text{H-coverage}(D(x), H(x^*)) = \frac{|\{d_h \in H(x^*) : \exists d \in D(x) \text{ s.t. } d \approx d_h\}|}{|H(x^*)|}$
• S-Coverage (安全关键覆盖率): $\text{S-coverage}(D(x), S(x^*)) = \frac{|\{d_s \in S(x^*) : \exists d \in D(x) \text{ s.t. } d \approx d_s\}|}{|S(x^*)|}$

此外还引入了语义指标：Evidence grounding rate (论据支撑率) 和 Indirect inference rate (患者未说明情况的过度推断率)。

2. Prompt Neutralization 管道 (Elicitation)

为了可控地衡量“非对抗性差异”如何影响模型，引入了一个中和管道。首先 Semantic Extractor 解析人口统计学信息和主客观病史；然后 Detector + Neutralizer 重写 Prompt，剔除非核心的内容/格式/语气干扰因子（如去除主观情绪、第一人称视角、模糊格式）；最后通过 Semantic Verifier 保证临床事实 (Clinical representations $x^*$) 的无损传递。