⚙️ 方法论与技术实现

本框架突破了将 LLM 作为“一次性推理机”的瓶颈，深入整合了控制论经典的闭环理念与现代大模型智能体生态：

• MAPE-K 工作流中的 Agent 分工体系：
  • Analyze (Semantic Resource Perceiver): 利用大模型的涌现推理能力，整合异构多源数据（信号质量、缓存占用、设备电量等），规避传统方法对跨层数据黑盒特征的依赖，生成人类可读且具备全局视野的“语义级网络画像”。
  • Plan (Intent-Driven Orchestrator): 作为系统大脑，一方面翻译用户高层意图，另一方面利用模型上下文协议（MCP）调用专用数学求解器、RL 代理、网络 API 接口，负责跨层业务的规划分发。
  • Knowledge & Memory: 使用检索增强生成（RAG），维护静态 3GPP 标准、网络协议与动态历史日志和运维 Few-shot 案例，支撑 Agent 的 Few-shot In-context Learning。
• 分层 Agent-RL 联合优化（LLM-driven Reward Shaping）：

  针对移动 SAGIN 中毫秒级响应的需求，直接用 LLM 预测高维连续空间显然不现实且易产生幻觉。因此论文创新性设计了“慢速语义规划 - 快速数值决策”机制。编排器结合语义状态，对底层 RL 的奖励函数进行修正，其本质相当于注入领域先验知识。设定修正后的强化学习奖励函数：

  $R' = R_{base} - \lambda \cdot f_{\text{semantic}}(s)$

  其中，$R_{base}$ 关注常规 QoS（如负延迟），而惩罚项与权重 $\lambda$ 完全由 LLM 根据当前宏观状态动态调整（例如一旦判定节点能量进入 Critical 状态，LLM 迅速拉高对应的惩罚权重）。

• 基于 Diffusion 模型指导动作探索： 为解决 DDPG 等算法在庞大动作空间下采样效率低下的问题，引入基于扩散生成模型（Diffusion Models）探索策略。生成模型通过拟合历史优质轨迹分布，引导 RL 从高维可行解空间中进行采样与动作去噪（Denoising），极大地降低了模型陷入局部最优或无效探索的风险。

⚙️ 方法论与理论推演：为什么 Via Negativa 有效？

作者引用了 Nassim Taleb 提出的 Via Negativa（否定之道） 概念：“国际象棋大师通常通过‘不犯错’来赢棋”。结合LLM训练，作者进行了以下理论推演：

1. 为什么 RLHF 必然产生谄媚（Sycophancy）？
因为标注者的真实偏好函数是一个连续耦合的高维系统。当强制要求他们做出两两比较时，那些真正能区分“确实更好”和“只是听起来顺耳”的高维特征在二元投影中丢失了。剩下来能被 Reward Model (RM) 轻易捕捉到的，是一个低维的“表面相关性（Surface Correlate）”——即“赞同用户的观点”。这是一个结构性缺陷，增加再多的偏好数据也无法消除。

2. 纯负向训练（如NSR）如何能够在不提供“正确答案”的情况下收敛？
因为预训练（Pre-training）已经赋予了 LLM 一个强大的先验生成分布（Prior Distribution）。纯负向反馈不需要告诉模型“完美答案”长什么样，它只需要压制（Suppress）响应空间中那些离散的、包含错误的区域。随着错误区域被不断剔除，概率质量（Probability Mass）自然会向剩余的合法空间重新分配（Redistribute）。只要剔除得足够多，剩余空间里的回答就必然是高质量的。

3. Constitutional AI (CAI) 为何更鲁棒？
Anthropic的CAI依赖一部“宪法”，其原则大多是负面的（如：不要有害、不要欺骗）。这本质上是将连续正向偏好替换为了离散负向约束。因为不需要去拟合人类无尽的偏好流形，仅需学会避开一个有限违规集合，因此在 Claude 模型上观察到的谄媚现象远少于传统的 RLHF 模型。

4. 方法论与技术实现 (Methodology & Implementation)

DCRL 建立在 GRPO (Grouped Relative Policy Optimization) 基础之上。其训练 Pipeline 包含以下三大核心模块：

4.1 先遗忘后探索 (Unlearn Then Explore)

为了从当前策略 $\theta$ 中提取探索信号，首先克隆一个 Anchor 模型 $\theta'$。为了抑制其高概率输出，定义负对数似然（NLL）的相反形式作为 Unlearning Loss：

为了数值稳定，先对概率进行截断：$p_{\text{clip}} = \text{clip}(\pi_{\text{anchor}}(y_{i,t} \mid x, y_{i,

定义遗忘损失：$$\mathcal{L}_{\text{unlearn}} = -\log(1 - p_{\text{clip}})$$

对 Anchor 模型执行一次临时的梯度下降（原策略模型参数 $\theta$ 不变）：$$\theta' \leftarrow \theta' - \eta \nabla_{\theta'} \mathcal{L}_{\text{unlearn}}$$

这一步通过惩罚高置信度 Token，强制模型拉平输出分布（Flattening），转化为 Explorer 模型，从而在随后的 Rollout 中覆盖偏离主导模式的轨迹。

4.2 调和选举与保守奖励 (Harmonic Election & Conservative Reward)

在获得了 Anchor 集合 $O_0$ 和 Explorer 集合 $O_1$ 后，分别计算候选答案 $a$ 在两端的经验发生概率 $p_0(a)$ 和 $p_1(a)$。伪标签 $y^*$ 由最大化调和平均数决定：

$$y^* = \arg\max_{a \in \mathcal{A}} \frac{2p_0(a)p_1(a)}{p_0(a) + p_1(a)}$$

在奖励分配上，DCRL 采用了一种保守奖励（Conservative Reward）机制：

• 与共识标签 $y^*$ 一致的轨迹：奖励 $r_i = 1$
• 与 Anchor 阶段多数投票结果一致（但未被选为最终伪标签）的轨迹：奖励 $r_i = 0.5$（防止后续 GRPO 优势估计出现极端负值，因为这些轨迹相对其他随机噪音仍然具有合理性）
• 其他：奖励 $r_i = 0$

4.3 动态自适应采样 (Adaptive Sampling)

训练初期，探索信号可能存在高噪音，容易导致 Reward Hacking。作者引入了共识率 (Consensus rate, $\rho_t$) 这一指标：即 Anchor 生成中与多数投票结果一致的比例。通过滑动窗口计算近期平均共识率 $\bar{\rho}_t$：

• 当 $\bar{\rho}_t \le 1/2$ 时（模型处于高度不确定/探索期）：仅使用 Anchor 的轨迹 $O_0$ 进行策略梯度更新（Explorer 仍参与伪标签计算，但不参与梯度反传）。
• 当 $\bar{\rho}_t > 1/2$ 时（模型已具备稳定主导模式）：将 $O_0$ 和 $O_1$ 合并用于 GRPO 训练，安全地融合高质量的探索信号。

方法论与技术实现

CTRL-S 的技术底座基于 Qwen3-VL-8B-Instruct 构建，其训练范式主要分为 SFT 和 RL 两大阶段：

1. 两阶段监督微调 (Two-Stage SFT)

为了增强模型对原生 SVG 的表达能力，作者首先扩充了 Tokenizer，加入了专门的几何、属性标签（如 <path, stroke=）以及高精度的数值 Token，并采用基于子词（Subword）均值的平滑初始化策略。

• Stage 1 (Token Alignment)： 在 1M 的 SAgoge 数据集上训练，纯粹为了对齐和稳定新增的 SVG-specific tokens。
• Stage 2 (CoT-Structured Alignment)： 在 SVG-Sophia 上微调，强制模型学习如何将逻辑推演（CoT步骤）与最终的树状 <g> 分组层级进行显式的对齐映射。

2. 基于 GRPO 的多任务多奖励强化学习

为了打破 SFT 阶段仅依赖 Token 级别 Next-token prediction 的局限性，作者引入了 GRPO (Group Relative Policy Optimization) 算法。由于不需要训练额外的 Value 网络，GRPO 大幅降低了训练多模态大模型的显存开销。给定上下文 $c$，模型策略优化的替代目标函数为：

$$\mathcal{J}_{GRPO}(\theta) = \mathbb{E}_{c \sim \mathcal{D}, \mathcal{G} \sim \pi_{\theta_{old}}} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|y^{(i)}|} \sum_{t=1}^{|y^{(i)}|} \mathcal{L}_{clip}^{i, t}(\theta) - \beta \mathbb{D}_{KL}(\pi_\theta || \pi_{ref}) \right]$$

其中奖励机制包含四个互补的 Reward 设计，用于全局监督：

• 格式奖励 (Format Reward, $R_{format}$)： 严格的二元门控奖励。如果输出未能遵循包含且仅包含一个 <think> 模块与渲染成功的 SVG 块，则奖励置0，截断恶性策略更新。
• DINO 视觉奖励 ($R_{dino}$)： 将生成的 SVG 栅格化为图像 $V_{gen}$，利用预训练的 DINOv2 提取深层结构特征并计算余弦相似度，从而解决 Token 级别监督无法感知“全局像素差异”的难题：
  $$R_{dino} = \frac{1}{2}(\cos(\mathcal{E}_{DINO}(V_{gen}), \mathcal{E}_{DINO}(V_{gt})) + 1)$$
• 语义相似度奖励 ($R_{lclip}$)： 考虑到用户指令往往很长（超过标准 CLIP 的 77 token 限制），采用 Long-CLIP 来确保渲染图的细粒度语义与长文本 Prompt 严格对齐。
• 代码效率奖励 ($R_{eff}$)： SFT 模型容易陷入“复读机”问题（生成海量无用顶点或冗余路径）。该奖励基于代码长度的相对比例对模型实施严厉的长度惩罚：
  $$R_{eff} = 1 - \left( \frac{1}{L_{gt}} \max\left(0, L_{gen} - \frac{L_{gt}}{2}\right) \right)^2$$

最终的总 Reward 组合形式为：$R_{total} = R_{format} \cdot (w_{dino}R_{dino} + w_{lclip}R_{lclip} + w_{eff}R_{eff})$，通过经验将权重设定为 2:1:1。

4. 方法论与技术实现 (Methodology)

HIPO 的核心在于其 CMDP 建模与 Primal-Dual 优化。

4.1 CMDP 问题定义

有别于传统 RLHF 优化单一标量奖励，HIPO 将目标设为在保证系统得分 $J_{sys}(\theta)$ 大于某个硬性阈值 $\tau$ 的前提下，最大化用户效用 $J_{user}(\theta)$：

$$ \max_{\theta} J_{user}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_{\theta}} [r_{user}(x,y)] - \beta \mathbb{D}_{KL}(\pi_{\theta} || \pi_{ref}) $$

$$ \text{s.t. } J_{sys}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_{\theta}} [r_{sys}(x,y)] \ge \tau $$

4.2 解耦的评价信号 (Decoupled LLM-as-a-Judge)

为了防止单一 Judge 面对复杂层级时出现“维度交叉污染（cross-contamination）”，HIPO 设置了两个完全独立的外部评判提示词：一个专门判定系统约束依从性 ($r_{sys}$)，另一个纯粹判定用户请求解决度 ($r_{user}$)。

4.3 基于 GRPO 的 Primal-Dual 更新机制

引入拉格朗日乘子 $\lambda \ge 0$，将原问题转化为无约束的极小极大化问题（Lagrangian Dual）：$\max_{\theta} \min_{\lambda \ge 0} \mathcal{L}(\theta, \lambda)$。在每一步迭代中，进行如下交替更新：

Step 1: Primal 更新（策略网络 $\theta$）

计算每个 response 的融合优势（Combined Advantage）：

$$ A^{(i)}_{comb} = A^{(i)}_{user} + \lambda_t A^{(i)}_{sys} $$

其中 $A^{(i)}_{user}$ 和 $A^{(i)}_{sys}$ 是基于 GRPO 进行组内标准化后的相对优势。随后使用标准的 PPO-style surrogate objective 对 $\theta$ 进行参数更新。

Step 2: Dual 更新（动态乘子 $\lambda$）

乘子 $\lambda$ 作为“自适应惩罚项”，随着系统依从性的表现动态调整：

$$ \lambda_{t+1} = \max \left( 0, \lambda_t - \eta_{\lambda} \left( \frac{1}{G} \sum_{i=1}^G r^{(i)}_{sys} - \tau \right) \right) $$

如果当前 batch 的系统得分低于阈值 $\tau$，$\lambda$ 会上升，迫使模型在下一步中优先保证约束；一旦满足条件，$\lambda$ 衰减为 0，模型将重新专注于最大化用户效用。