四、 方法论与技术实现

1. 对GRPO底层机理的重构解析：
在仅有 $\{0, 1\}$ 稀疏二值奖励的RLVR任务中，对于一个生成组 $G$ 个Rollouts，设组内准确率为 $p$。标准GRPO计算的Token级别优势函数实际上只依赖于 $p$：

$A_{pos}^{\text{GRPO}}(p) = \sqrt{\frac{1 - p}{p}}, \quad A_{neg}^{\text{GRPO}}(p) = -\sqrt{\frac{p}{1 - p}}$

作者将从方差缩减（Variance reduction）的视角切换到梯度重加权（Gradient reweighting）的视角。随着 $p$ 增加（题目变简单或模型已掌握）：
- 对于正样本（$A_{pos}$ 逐渐变小）：减少对易题正样本的过度更新，抵制了模型趋于“过度确信”的自然趋势，从而保留了信息熵。
- 对于负样本（$A_{neg}$ 绝对值逐渐变大）：对易题中的罕见错误施加重罚，顺应并加速了放弃有害探索方向的趋势，从而修剪了有害熵。

2. 连续参数化家族与 AsymGRPO：
为了打破标准GRPO对上述缩放比例的固定捆绑（标准GRPO相当于幂指数为 0.5），作者引入了连续参数 $\beta$，并进一步将其解耦为正负独立的 $\beta_{pos}$ 和 $\beta_{neg}$，正式提出了 AsymGRPO：

$A_{pos}^{(\beta_{pos})}(p) = \left(\frac{1 - p}{p}\right)^{\beta_{pos}} \quad \text{if } r(x, y_i) = 1,$

$A_{neg}^{(\beta_{neg})}(p) = -\left(\frac{p}{1 - p}\right)^{\beta_{neg}} \quad \text{if } r(x, y_i) = 0.$

这种解耦不仅覆盖了REINFORCE（两者皆为0）和标准GRPO（两者皆为0.5），更允许算法进行非对称（Asymmetric）调制。例如，可以设置较高的 $\beta_{pos}$ 极力保护在难题上取得正确答案带来的探索收益，同时校准 $\beta_{neg}$ 适度惩罚错误，以免过强的负梯度干扰导致有效长前缀被“连坐”误杀（Lazy Likelihood Displacement）。

方法论与技术实现

系统工程设计围绕模块化与无人值守（Automated Agentic Scraper）原则，分为三层架构：

1. 数据摄取层 (Data Ingestion Layer)
放弃了处理所有 30k 篇 arXiv 论文的低效做法，转而监控 Hugging Face Daily Papers API 这个由社区高强度筛选（upvotes）的信源。这占据了 arXiv 总量的 ~2-3%，利用社区点赞数作为影响力的廉价 Proxy。

2. 论文处理层 (Paper Processing Layer)
通过 LiteLLM 进行 API 路由分配，支持 Gemini / OpenAI / Anthropic 等多模型。系统实现了“两级缓存”机制（本地 JSON Checkpoint + 远程 Hub Lookup），确保了 Pipelines 的幂等性。为服务双语学术社区，英中双语摘要在单次 LLM Call 中同时生成以减少推理成本。

3. 趋势量化与生命周期评估方法 (Empirical Analysis Metrics)
不依赖大模型主观打分，全部基于统计学指标：

• 多样性衡量 (Shannon Entropy): $H = - \sum_i p_i \log_2 p_i$，评估每月论文发表主题是否趋于垄断（系统发现 H 稳定在 7.9 bits，说明前沿正不断拓宽而非收敛）。
• 关联耦合度 (Jaccard Similarity): $J = |A \cap B| / |A \cup B|$。如计算发现“Embodied AI”和“VLA Models”共现系数达 0.14，揭示了强耦合且未被绝对数量显露的硬核赛道。
• 技术生命周期映射 (Gartner Hype Cycle): 对每个 Topic（不少于15篇）计算其当月占比 $p_t$、历史峰值 $p^*$、近 3 个月均值 $\bar{p}_{cur}$、衰退率 $\delta = \bar{p}_{cur} / p^*$ 以及近半年斜率 $\beta$。利用这些统计特征，硬编码逻辑将其自动归类为：Innovation Trigger, Peak of Inflated Expectations, Trough of Disillusionment, Slope of Enlightenment, 或 Plateau of Productivity。

四、 方法论与技术实现 (Methodology & Implementation)

1. 混合维度记忆检索 (Hybrid Memory Retrieval)

Memory Manager 放弃了纯文本检索，采用三维度的 Scoring 系统来检索最相关的成功/失败轨迹（Workflow）：

$$Score(m_i) = \lambda_s \widehat{Sim_i} + \lambda_v Val_i + \lambda_f Freq_i$$

其中，$Sim_i$ 为基于 Embedding 的语义相似度（包含图文双模态）；$Val_i$ 为记忆的价值奖励（历史成功率）；$Freq_i$ 为频率奖励（鼓励探索长尾的低频有效记忆）。

2. 两阶段交替式强化学习 (Two-Stage Alternating RL via GRPO)

为使模型获得原生能力，MIA 放弃了纯 Prompt 工程，转向 RL：

• Stage 1: Executor 训练。 冻结 Planner 作为“发号施令者”，利用 GRPO 训练 Executor（初始化为 Qwen2.5-VL-7B）。Reward 函数结合了正确性（$r_1$）、工具规范性（$r_2$）和格式规范性（$r_3$）：
  $$r_{ME}(x, y) = 0.7 * r_1(a_{pred}, a_{gold}) + 0.2 * r_2(y) + 0.1 * r_3(y)$$
• Stage 2: Planner 训练。 冻结 Stage 1 训练好的 Executor 作为环境交互的“手脚”，收集带有记忆上下文的轨迹，对 Planner 进行 GRPO 训练。Reward 函数不仅考虑最终答案，还引入了对中间反思（Reflection）的奖励（$r_2$），鼓励 Planner 在执行失败时进行有效的 Replan。

3. 测试时学习范式 (Test-Time Learning, TTL)

这是 MIA 最核心的自进化机制。在 Inference 阶段，对于每个 Batch 的测试数据，系统同时进行探索（Exploration）、非参数记忆提取和参数更新：

• 生成 $G$ 个候选 Plans 并执行（Rollout）。
• 从成功的 Rollout 中提取最短路径作为 Positive Paradigm；从失败的 Rollout 中随机采样作为 Negative Paradigm。两者被抽象化压缩后存入 Memory Bank。
• 同时，根据 Rollout 的 Advantage $\hat{A}_i = \frac{R_i - \mu_R}{\sigma_R + \epsilon}$，利用 GRPO 目标函数实时更新 Planner 的模型参数，将显式的成功经验内化为模型的隐式认知（Parametric Memory）。

4. 开放世界无监督自进化 (Unsupervised Evolution)

为摆脱对 Ground-truth 的依赖，MIA 引入了类似顶会学术评审的 Reviewer-AC 架构作为 LLM Judger (基于 Qwen3-32B)：

• Reviewer $R_L$ (逻辑一致性): 评估因果链条和前置假设的合理性。
• Reviewer $R_C$ (信息来源与可信度): 检查从 Retrieval 结果中提取的事实是否存在幻觉（Hallucinations）。
• Reviewer $R_V$ (结果有效性): 评估最终回答是否直接解决用户问题，任务是否真正完结。
• Area Chair (AC) Agent: 进行元分析（Meta-Decision），对上述维度的反馈进行仲裁，输出最终的 Reward 信号，驱动无监督 TTL 更新。