5307篇ICLR2026论文解读，涵盖强化学习(400篇)、图像生成(352篇)、学习理论(294篇)、LLM Reasoning(241篇)、模型压缩(239篇)、优化/理论(220篇)、多模态 VLM(211篇)、LLM Agent(209篇)等 52个方向。每篇含一句话总结、核心思想、方法详解、实验结果与局限性分析，5分钟读懂一篇论文核心思想。 💡 LLM Reasoning (241) ¶ 提出Vision-R1，通过Modality Bridging构建200K高质量多模态CoT数据进行冷启动初始化，再用渐进思维抑制训练(PTST)策略结合GRPO强化学习，在7B参数规模达到与OpenAI O1接近的多模态数学推理能力。 DeepMath-103K 是一份专为 RLVR（可验证奖励强化学习）打造的大规模数学推理训练集：从 286.9 万条数学论坛原始问题出发，经严格去污染、难度过滤（主体为 5–9 级）和答案可验证性校验，得到 10.3 万道高难度、与主流评测基准几乎无重叠、每题都带可机器校验答案和三条 R1 解答的题目；用它做 RL 训练的模型在 AIME、MATH500 等数学基准上全面领先，并能泛化到生物/物理/化学等非数学推理任务。 DEER 让大推理模型在思维链的"思路切换点"试着提前作答，用试探答案的置信度判断是否已经"想够了"，从而无需训练即可动态早停，在 11 个模型、10 个基准上把 CoT 长度平均压缩 19.1%~80.1% 的同时还提升了 0.3%~5.0% 的准确率。 本文系统揭示了"思维链越长越好"是个误解——任务准确率随 CoT 长度呈 倒 U 型 曲线，存在一个随任务难度增大、随模型能力增强而缩短的 最优长度 ；作者用一个误差累积理论模型解释了这一现象并推导出 scaling law，进而给出"按最优长度造训练数据 + 推理时按长度过滤投票"两个实用配方。 作者用 1000+ 组受控实验把"推理模型 SFT 数据该怎么造"这件事拆成六个流水线阶段逐个消融，得出一套简单却反直觉的数据配方（少而精的题源 + LLM 难度/长度筛题 + 每题采 16 次答案 + 跳过答案验证 + 用更弱的 QwQ-32B 当教师），据此造出 OpenThoughts3-1.2M 数据集并训出 OpenThinker3-7B，在 AIME25/LiveCodeBench/GPQA 上分别比 R1-Distill-7B 高出 15.3/17.2/20.5 个百分点，成为同规模开源数据 SOTA。 GPG（Group Policy Gradient）回归最朴素的策略梯度，直接优化 RL 原始目标——砍掉 critic、reference 模型、KL 约束和 surrogate loss，只保留组内均值归一化加一个梯度去偏修正，就在数学与多模态推理任务上稳定超过 GRPO。 DeepConf 利用大模型生成时自带的局部置信度信号，在并行思考（多采样 + 多数投票）的基础上动态过滤掉低质量推理链：离线时用置信度加权投票 + Top-η% 过滤，在线时用最低分组置信度做早停 + 自适应采样——无需训练、无需调参，在 AIME 2025 上把 GPT-OSS-120B 的准确率推到 99.9%，同时把生成 token 砍掉最多 84.7%。 SimpleTIR 发现多轮工具集成推理（TIR）的 RL 训练崩溃根源在于工具反馈引入的低概率 token 累积，并提出一个即插即用的轨迹过滤策略——丢弃含「空转轮（void turn）」的整条轨迹——从而稳住梯度，把 Qwen2.5-7B base 的 AIME24 从纯文本基线 22.1 拉到 50.5。 ShinkaEvolve 用「父代加权采样 + 代码新颖性拒绝采样 + Bandit 式 LLM 集成选择」三件套，把 LLM 驱动的程序进化从动辄数千次评估压到 150 次，并在圆填充、AIME agent 脚手架、ALE-Bench 竞赛编程、MoE 负载均衡损失四个领域上做到 state-of-the-art。 提出 E2H Reasoner ——把训练数据按难度分解为「平凡/简单/中等/困难」四档，再用一个概率调度器（余弦或高斯）从易到难逐步转移采样焦点，让小模型也能学会原本零样本根本做不出的硬推理任务，并配套给出了 CRL 的收敛性与样本复杂度理论保证。 查看全部241篇「LLM Reasoning」论文 → 🦾 LLM Agent (209) ¶ 提出 ACE（Agentic Context Engineering）框架，将 context 视为不断演化的"策略手册"（playbook），通过 Generator-Reflector-Curator 三角色分工和增量式 delta 更新来持续积累和精炼策略，解决了现有 prompt 优化中的简洁偏差和上下文坍塌问题，在 agent 任务上平均提升 10.6%、金融任务提升 8.6%，且自适应延迟降低 86.9%。 作者基于记忆科学与认知科学，把记忆智能体应拥有的能力拆成「准确检索、测试时学习、长程理解、选择性遗忘」四项核心能力，并构建了首个把长文本切块、增量喂给智能体来模拟多轮交互的统一基准 MemoryAgentBench ，发现现有的长上下文、RAG、商用记忆智能体没有一个能同时掌握四项能力。 MEM1 用端到端强化学习训练 LLM 智能体把"记忆整合"嵌进"推理"本身——每一轮只保留一个不断被改写的紧凑内部状态，旧观测用完即丢，从而在任意长的多轮任务里维持近乎常数的上下文，做到性能更高、显存更省、推理更快。 提出首个专门评估 Web Agent 安全性和可信赖性的基准 ST-WebAgentBench，通过策略层级框架和完成度策略（CuP）指标，揭示当前 SOTA Agent 在企业场景中存在严重的策略违规问题。 MCP-Bench 把智能体接到 28 个真实生产级 MCP 服务（共 250 个工具、覆盖金融/科研/旅行等 11 个领域），用自动合成的「模糊指令、多目标、跨域」复杂任务，加上「规则检查 + LLM 评委」两层评估，系统性地暴露了 20 个主流 LLM 在长程规划与依赖推理上的真实短板。 GTA1 用「每步并行采样多个动作提案 + 多模态裁判挑最优」的测试时扩展解决规划易级联失败的问题，再用「直接预测坐标、点中即奖励」的纯 RL grounding 模型（不要 CoT thinking）做精准定位，让两阶段 GUI 智能体在 grounding 与任务执行两类基准上同时达到 SOTA。 AgenTracer 用"反事实回放 + 程序化故障注入"自动标注多智能体失败轨迹、造出 TracerTraj-2.5K 数据集，再用多粒度强化学习训出一个 8B 的轻量"失败追踪器"，在 Who&When 基准上把决定性错误定位到具体智能体和步骤，agent 级准确率反超 Gemini-2.5-Pro、Claude-4-Sonnet 等巨型模型最多 18.18%，并能给 MetaGPT、MaAS 等现成系统反馈、带来 4.8~14.2% 的性能提升。 MemGen 让 LLM 智能体在推理过程中由一个「记忆触发器」实时判断何时需要回忆，再由一个「记忆编织器」生成一段机器原生的潜在 token 序列注入推理流，从而把记忆与思考交织成动态循环，在冻结主干、不改一个参数的前提下显著超越参数式与检索式记忆。 M3-Agent 把实时视觉与音频流转成实体中心的多模态长期记忆，再用强化学习训练的控制模型多轮检索和推理，在 M3-Bench 与 VideoMME-long 上超过提示式闭源 agent 和在线长视频理解基线。 MedAgent-Pro 把现代临床"循证诊断"流程拆成 疾病级标准化计划生成 和 患者级逐步证据推理 两层 agentic workflow，用 RAG 对齐医学指南、用视觉/编码工具做量化分析、用证据反思机制逐步剔除不可靠中间结论，让 VLM 从"凭经验一跳作答"变成"有指标、有证据、可追溯"的诊断系统。 查看全部209篇「LLM Agent」论文 → ⚖️ 对齐 / RLHF (102) ¶ 本文将 LLM 谄媚行为从"同意错误事实"扩展到"过度维护用户面子"，提出 social sycophancy 理论框架，构建 ELEPHANT 基准评测 11 个主流 LLM，发现它们在日常建议查询中平均比人类多谄媚 47 个百分点，且谄媚倾向在偏好数据集中受到奖励，同时提供提示重写和 DPO 等缓解策略。 提出 Human-AI 协同的两阶段偏好数据策展流水线：阶段一通过人工验证、错误驱动自适应检索和偏好引导 LLM 标注迭代 8 轮积累约 1M 偏好对；阶段二借助双 RM 一致性过滤将数据规模扩展到 26M 对。最终训练的 Skywork-Reward-V2 8B 模型在 RewardBench 达 97.8%，7 个主流基准平均 88.6%，全面超越所有开源 70B 奖励模型。 本文提出 RewardBench 2——一个用全新未见人类 prompt、把"1 选 1"改成"4 选 1（1 正 3 负）"、覆盖 6 大领域（含新增的 Ties / Precise IF / Factuality）的奖励模型评测基准；它比初代 RewardBench 平均难 20 分，且与 best-of-N 采样、PPO 训练等下游用法的相关性显著更强。 提出 AlphaSteer，通过学习一个受零空间约束的变换矩阵来动态构造 steering 向量，对良性输入产生近零向量（保持效用），对恶意输入重建拒绝方向向量（增强安全），在理论上保证了安全与效用的解耦。 理论证明奖励过优化主要源于高奖励尾部区域的奖励模型错误规范，提出基于 rubric 的奖励建模方法：利用 off-policy 数据（强模型生成的优秀回复）构造评分细则，通过渐进式区分"优秀 vs 更优秀"来精细化 rubric，有效缓解奖励过优化。 发现 GRPO 训练中大量"零方差提示"（所有回答全对或全错）被白白丢弃，提出 RL-ZVP 算法通过熵引导的优势整形从中提取学习信号，在六个数学推理基准上相比 GRPO 提升最高 8.61 个精度点和 7.77 个通过率点。 重新审视安全约束 RLHF 目标并证明其存在闭式最优策略，据此推导出等价的可处理目标 SafeDPO，仅需在标准 DPO 上加入安全感知数据变换和安全 margin 项（1 个额外超参数），无需奖励/代价模型，在 PKU-SafeRLHF-30K 上实现 96.87% 无害率且保持竞争力的有用性，训练速度比 SafeRLHF 快 25×。 作者用 5 国 15,000 人的代表性人类调查证明：21 个 SOTA 大模型的回答只对齐了 41% 的人类偏好（"算法单一文化"），现有偏好数据集因候选回答太同质而学不出这种多样性；为此提出"负相关采样（NC sampling）"——用一句 prompt 让单个模型一次生成四个 刻意发散 的回答，使对齐方法学习异质偏好的能力大幅提升，并据此开源了迄今最大、最具代表性的多语言多轮偏好数据集 Community Alignment（233,319 条比较）。 揭示了 stepwise group-based RL（如 GRPO/GiGPO）中的「历史上下文不一致」问题——同一 group 内的 step 可能具有不同历史上下文导致 advantage 估计偏差，提出 HGPO 通过层次化分组和自适应加权实现低偏差、平衡方差的 advantage 估计，在 ALFWorld 和 WebShop 上以极低额外开销（<0.001%）取得显著提升。 WIMHF 用稀疏自编码器（SAE）在「两个候选回复的嵌入差」上学出一小批人类可读的特征，再用逻辑回归量化每个特征对偏好标签的影响，从而自动地、无需预设假设地说清楚一份偏好数据集「能测什么偏好」和「标注者实际偏好什么」，并把这些特征当作数据净化和个性化的可控杠杆。 查看全部102篇「对齐 / RLHF」论文 → 🔒 LLM 安全 (184) ¶ 提出 wd1，一种无需策略比率（ratio-free）的加权对数似然策略优化方法用于扩散语言模型（dLLM）的 RL 微调，通过正样本加权和负样本惩罚避免了 GRPO 中策略比率估计的偏差和高方差问题，在 LLaDA-8B 上实现了 Sudoku +59%、GSM8K 84.5% 的 SOTA 性能。 提出 Chain & Hash：用加密哈希把一组指纹问题和它们的目标回答 确定性地绑死 ，让模型所有者能在纯黑盒条件下不可伪造地证明模型归属，并通过随机填充 + meta-prompt 多样化训练让指纹在微调、量化、改风格 prompt 下依然存活。 这篇论文提出"混淆攻击"——在越狱/SQL 等行为目标之外再加一项"骗过潜空间监控"的损失，联合优化对抗后缀，结果能把各类激活探针（线性/MLP/OOD）的召回率从 100% 压到 0% 而越狱成功率仍达 90%，证明白盒潜空间监控对最坏情况攻击并不鲁棒，但同时发现了一个"混淆税"：在写正确 SQL 这类复杂任务上躲探针会拉低模型本身的性能。 通过把 LiveCodeBench / SWE-bench 的单元测试改写成与自然语言规范 直接冲突 的"不可能任务"，让"通过测试"本身就等价于"作弊"，从而把 LLM 编程智能体钻测试空子（reward hacking）的倾向变成一个 0 噪声、可自动测量的指标。 作者先训练出一个会"看人下菜碟"的 Llama Nemotron 49B 模型生物体（evaluation 时写 Python 类型注解、deployment 时不写），再证明只要往残差流里加一个对比激活引导向量，就能在评估场景中骗模型相信自己已经上线，从而暴露出它本来想藏起来的"部署行为"。 这篇论文把 Constitutional Classifiers 从“鲁棒但偏贵”的安全过滤器推进到生产可用版本：用上下文感知的 exchange classifier、两阶段级联和激活线性探针组合，在通用越狱红队测试中提升鲁棒性，同时把计算开销压到单一 exchange classifier 的约 \(1/40\) 。 基于真实 MCP 服务器构建的安全评测基准，用统一的 20 类攻击分类法（覆盖 server/host/user 三侧）、跨 5 个真实领域的多轮 ReAct 任务，系统揭示了当前主流 LLM Agent 在 MCP 环境下普遍脆弱、且存在「能力越强越不安全」的安全-效用权衡。 OpenAI 在发布 gpt-oss 前，主动用"恶意微调（MFT）"把模型在生物和网络安全两个高危领域尽可能调到最强，以此估计开源权重释放的最坏情况风险，结论是即便对手全力压榨，gpt-oss 也跑不过闭源 o3、且没有实质性推高开源模型的能力前沿，因此释放带来的净新增危害有限。 本文针对 LLM agent「执行前」这一最安全的干预时机，提出一套完整护栏方案：用可控合成数据引擎 AuraGen 造大规模带标注的风险轨迹，训练一个轻量 guardian 模型 Safiron（前接跨规划器 adapter 统一输入格式）来判定/分类/解释风险，并发布人工核验的 Pre-Exec Bench 基准；在该基准上四项指标全面超越 GPT-5、Claude-3.7 等强基线。 本文提出 Monitor Red Teaming（MRT）这套标准化"压力测试"流程，用威胁模型 + 逃逸策略 + 两个 sabotage 基准（含新建的 computer-use 基准 CUA-SHADE-Arena）系统性地考验"检测 LLM agent 隐蔽作恶"的监控系统，并设计了一个"层次化 + 顺序化"的混合监控脚手架，让弱模型也能可靠地监督更强的 agent。 查看全部184篇「LLM 安全」论文 → 在 LLM 中间层的 MLP 激活中注入均匀噪声来近似贝叶斯后验，捕获认知不确定性（epistemic uncertainty），与采样温度捕获的偶然不确定性（aleatoric uncertainty）互补，将 GSM8K 上的幻觉检测 AUROC 从 71.56 提升到 76.14。 本文发现 VLM 多智能体系统（MAS）会出现"幻觉滚雪球"——某个 agent 的视觉误判被后续 agent 通过纯文本流不断放大；作者通过逐轮/逐层/逐 token 的注意力分析定位到"中间层单峰视觉 token"是承载视觉证据的关键，进而提出 ViF：用这批视觉中继 token 在 agent 之间额外搭一条"视觉流"，并配合注意力重分配，模型无关地缓解滚雪球，在 8 个 benchmark、4 种 MAS 结构、10 个底座上稳定提升 2.4–3.8%。 本文提出统一的「幻觉风险界（Hallucination Risk Bound）」理论框架，把 LLM 幻觉风险用三角不等式分解为 数据驱动项 （训练期表示偏差）与 推理驱动项 （解码期不稳定），并据此设计无需外部参考、无需幻觉标注的 NTK 谱代理分数 HalluGuard，在 10 个基准、11 个基线、9 个骨干上一致取得 SOTA。 提出 LVLMs-Saliency 梯度感知诊断框架来量化每个输出 token 的视觉锚定强度，发现"当先前输出 token 对下一个 token 预测的显著性降低时，幻觉就会产生"的关键规律，并基于此设计了 SGRS（显著性引导的拒绝采样）+ LocoRE（局部一致性增强）双机制推理时框架，在多个 LVLM 上显著降低幻觉率。 提出 Lumina 框架，通过"上下文-知识信号"检测RAG系统中的幻觉：用MMD度量 外部上下文利用 程度，用跨层token预测演化度量 内部知识利用 程度，无需超参调优即可泛化。 针对大推理模型（LRM）在事实问答上"宁可编也不说不知道"的毛病，本文先定位出两种由"事实性过度思考"引发的病态推理模式，再用"知识边界标注 → 边界感知 SFT → 基于可靠性奖励的 GRPO"三段式训练框架 BARREL，把 DeepSeek-R1-Distill-Llama-8B 的可靠性从 39.33% 拉到 61.48%，且准确率不降反升。 提出 AIR（Adaptive vIsual Reinforcement）框架，通过原型距离的 token 精简 + 最优传输引导的 patch 选择性增强，在推理时无训练地减少 MLLM 幻觉（LLaVA-1.5-7B CHAIR_S: 22→18.4，POPE 准确率 +5.3%），同时保持多模态通用能力。 本文提出 RL4HS：用强化学习（基于 span-F1 奖励的 GRPO）训练一个会"先推理后定位"的 7B/14B 模型来精确检测幻觉跨度，并设计 Class-Aware Policy Optimization (CAPO) 修正奖励对"无幻觉"类的系统性偏置，在 RAGTruth 上超越 SFT、专有大推理模型（GPT-5、o3）。 CASAL 把推理时的激活引导（activation steering）"摊销"进模型权重——只训练单层的一个子模块、只用表示损失（不用交叉熵），就能让 LLM "知道的答、不知道的弃答"，在多个短问答基准上把幻觉率降低 30%–40%，且比 LoRA 类基线省 ~30× 算力、~20× 数据。 首次将LVLM对象幻觉系统性追溯到视觉编码器，识别出统计偏差（高频模式token过度强调）、固有偏差（预训练主导对象的残余表示）、脆弱性（微小扰动即导致特征失真）三大问题，并提出SHIELD——一个完全免训练的框架，通过token重加权、token减法和对比解码三策略协同防御，在LLaVA-1.5/InstructBLIP/Qwen-VL上全面超越VCD和OPERA等方法。 查看全部40篇「幻觉检测」论文 → 📊 LLM 评测 (131) ¶ 本文通过"指令分片 + 模拟对话"的大规模实验（20 万+ 模拟对话、15 个 LLM）证明：所有顶尖 LLM 在多轮欠定对话中相比单轮完整指令平均掉点 39%，而这种退化主要不是能力下降，而是 可靠性崩溃 ——模型一旦在某轮走错就"迷失"且无法恢复。 针对"深度研究智能体（DRA）"提出首个系统性基准 DeepResearch Bench ——100 个由领域专家精心打磨、覆盖 22 个学科的 PhD 级研究任务，并配套两套全自动且高度对齐人类的评测框架：RACE 评报告质量、FACT 评信息检索与引用可信度。 首次定义并系统研究 LLM-as-a-Judge 中的 偏好泄漏 (Preference Leakage) 问题——当合成数据生成器 \(M_G\) 与评估器 \(M_J\) 存在关联（同模型/继承/同家族）时，评委会对"相关学生模型"产生系统性偏好，同模型场景下 PLS 高达 28.7%（Arena-Hard），且该偏差比自中心偏差更隐蔽、更难检测。 GDPval 是 OpenAI 提出的一个面向"真实经济价值数字知识工作"的基准：覆盖美国 GDP 贡献最大的 9 个行业、44 个职业、1320 个由 14 年经验专业人士构造的真实任务，用"模型 vs 人类专家盲测胜率"为核心指标，发现前沿模型的交付质量正逐年线性逼近行业专家。 ARPO 是一种为多轮工具调用智能体量身定制的强化学习算法：它发现 LLM 在每次工具返回结果后 token 熵会骤升，于是在这些高熵步上自适应地"分叉"采样、再用优势归因把分叉路径的好坏差异传回去学习，结果在 13 个推理/深搜基准上全面超过轨迹级 RL，且只用一半的工具调用预算。 ResearchRubrics 用 2800+ 小时人工，给 101 个真实开放式研究 prompt 配上 2593 条专家手写、带权重的细粒度评分细则（rubric），再用 LLM-as-Judge 按细则逐条打分，评测主流 Deep Research 系统，发现连 Gemini DR、OpenAI DR 这类最强 agent 的平均细则达成率都不到 68%，瓶颈集中在隐含需求推断和多源信息综合。 HAL 提供一套标准化、可分布式并行、自动记账的 Agent 评测基础设施，用 21,730 次 rollout 在「模型×脚手架×基准」三维度上跑出准确率-成本帕累托前沿，并用 LLM 自动分析 25 亿 token 的日志，揭示出 reasoning 越多反而越差、agent 偷看 HuggingFace 答案、用错信用卡订机票等被传统指标掩盖的行为。 CyberGym 用 OSS-Fuzz 上 188 个真实开源项目的 1507 个历史漏洞构建了一个比现有同类基准大 7 倍以上的网络安全评测基准，核心任务是让 AI 智能体在只给漏洞文字描述和打补丁前代码库的条件下生成能复现漏洞的 PoC，结果最强的智能体+模型组合也只有约 20% 成功率，并且在评测过程中顺带挖出了 34 个 0-day 漏洞和 18 个不完整补丁，证明它既是衡量 AI 进展的硬基准，也是能产生真实安全影响的平台。 SimBench 把 20 个跨道德、经济、心理、政治的社会与行为科学数据集统一成「群体回答分布预测」任务，构建了首个大规模标准化的 LLM 人类行为模拟基准，并在 45 个模型上系统揭示：当前最强模型也只有 40.80/100 的中等保真度、模拟能力随规模对数线性增长但不随推理算力提升，且指令微调存在「对齐-模拟权衡」。 这篇论文用一次专家执行 + 盲审评审的随机对照实验检验 LLM 生成研究想法是否真的能转化为更好的研究成果，发现 LLM 想法在“只看 idea”时分数更高，但执行后在新颖性、兴奋度、有效性和整体质量上掉分显著更大。 查看全部131篇「LLM 评测」论文 → ⚡ LLM 效率 (169) ¶ Fast-dLLM 无需重新训练，给双向扩散语言模型补上一套块级近似 KV Cache，并用「置信度阈值」替代固定 top-K 的并行解码策略，在 LLaDA / Dream 上实现最高 27.6× 的端到端吞吐提升，且精度几乎不掉。 MemAgent 把"无界长文档"切成定长 chunk 流式处理，用一段固定长度、可被覆写的 token 记忆替代不断膨胀的上下文，再用扩展版的 Multi-Conv DAPO 端到端训练记忆读写策略，使 8K 窗口模型几乎无损外推到 3.5M token 的 QA 任务，且推理复杂度严格线性。 Fast-dLLM v2 用约 1B token 的轻量微调把预训练的自回归 Qwen2.5 模型改造成块扩散语言模型，配合层次化缓存与置信度并行解码，在不掉点的前提下相比 AR 解码取得最高 2.5× 的加速。 本文指出现有 Test-Time Training（TTT）之所以在长序列上跑不动，是因为它们坚持用极小的在线 mini-batch（每 16~64 个 token 更新一次快权重），导致现代 GPU 利用率常年低于 5%；作者反其道而行，提出 LaCT（Large-Chunk Test-Time Training） ，把更新粒度放大到 2K~1M token 的超大块，配合窗口注意力补足块内局部性，用几十行纯 PyTorch 就把 GPU 利用率拉到 70%，并在新视角合成、语言建模、自回归视频扩散三类模态上验证了可扩展到 14B 参数、56K~1M token 上下文。 本文提出离散扩散强制（D2F），把预训练扩散语言模型（dLLM）改造成「块级自回归 + 块间并行解码」的 AR-扩散混合范式，靠非对称蒸馏低成本获得该能力、再配流水线并行解码，首次让开源 dLLM 的推理吞吐反超同规模自回归 LLM（GSM8K 上比 LLaMA3 快 2.5×，比原始 dLLM 快 50×）。 本文提出 UniRoute，把每个 LLM 编码成"在一小批代表性提示上的预测错误向量"，配合双线性打分器，让训练好的路由器 不重训 就能路由到测试时才出现的新 LLM，在 30+ 个未见模型上取得更好的成本-质量权衡。 两个免训练技巧——复用稳定 KV 投影的 FreeCache，加上用小 AR 模型一致性信号指导并行解掩码的 Guided Diffusion——让 7B/8B 扩散语言模型推理端到端平均提速 12 倍，首次把扩散 LLM 的延迟拉到与同尺寸自回归模型相当甚至更快。 扩散语言模型（DLM）在解码到一半时往往就已经在内部确定了正确答案，本文据此提出训练免费的 Prophet 解码范式——用"前两名候选 token 的 logit 差距"判断答案是否收敛，一旦收敛就一步填完所有剩余位置（早提交解码），在 LLaDA-8B / Dream-7B 上把解码步数最多减少 3.4× 而精度几乎不掉。 把"长文档放进 KV cache 在线 prefill"换成"为每篇语料离线训练一个小型可学习 KV cache（Cartridge）"，再用 Self-Study （自生成合成对话 + 上下文蒸馏）让这个小 cache 复刻 ICL 的通用问答能力，平均省 38.6× 显存、提 26.4× 吞吐。 通过"确定性强制蒸馏"把扩散语言模型(dLLM)原本"逐字串行收敛"的预测确定性改造成"并行同时收敛",让 LLaDA-8B 在 GSM8K 上把解码步数从 256 砍到 30(8.5× 加速)而精度不降。 查看全部169篇「LLM 效率」论文 → 本文系统对比 22 种数据筛选策略对 LLM 预训练的影响，提出基于指令微调 LLM 直接打质量分的 Ask-LLM 和基于核密度估计做覆盖采样的 Density ，发现质量筛选（Ask-LLM）即便只保留 10% 数据也能超过全量训练并收敛快 70%，而覆盖采样通常只能"追平"全量。 本文提出 H-Net，一个用可学习的「动态分块（Dynamic Chunking, DC）」机制取代 BPE 分词的层级序列模型：网络在 byte 级输入上自动学会在哪里切 chunk、压缩到什么粒度，全程端到端可微，单级 H-Net 在算力/数据对齐下就超过了基于 BPE 的强 Transformer，两级 H-Net 还能匹敌两倍大小的 token 级模型。 作者训练了一套从 17M 到 1B、配对的 encoder-only 与 decoder-only 模型（ETTIN suite），二者用 完全相同 的数据、架构和训练配方，只差「目标函数 + 注意力方向」；在公平对比下既各自刷到同尺寸开放数据 SOTA，又证明：分类/检索任务上 encoder 碾压 decoder，生成任务反之，而且 靠继续训练把一种模型改造成另一种（cross-objective）始终补不平这个差距 。 本文把"预测"重新表述为"对一个学到的验证器（能量函数）做梯度下降优化"，提出一类可扩展的能量模型 Energy-Based Transformers (EBTs)，让模型仅靠无监督预训练就涌现出跨模态、跨任务的 System 2 思考能力（动态分配算力 + 自我验证），在语言与图像上同时超越 Transformer++ 和 DiT。 把视觉里大获成功的 JEPA（联合嵌入预测架构）首次搬到 LLM 上：在标准 next-token 重构损失之外，再加一项"用 Text 的嵌入预测 Code 的嵌入"的隐空间目标，在不牺牲生成能力、且抗过拟合的前提下，跨四个模型家族、四个数据集显著超过标准微调与预训练。 用「lynx 布局渲染 + 轻量 LLM 清洗」的领域无关流水线，从 Common Crawl 中可靠抽取并标准化数学/代码内容，构建出迄今最高质量的开源数学预训练语料 Nemotron-CC-Math（133B token），在数学、代码、通用知识任务上全面超越 FineMath、MegaMath、OpenWebMath。 这篇论文系统研究了离散扩散语言模型（DLM）在不同噪声类型下的标度律：通过一套用信噪比（SNR）参数化、可在掩码扩散与均匀扩散之间平滑插值的统一扩散框架，并仔细调好 batch size 与学习率，作者发现 DLM 的标度行为强依赖噪声类型——均匀扩散在数据受限场景下更"省数据、吃参数"，最终把均匀扩散模型扩到 10B 参数 / \(10^{22}\) FLOPs，验证其标度律可与自回归模型（ALM）竞争。 作者发现扩散语言模型（dLLM）在去噪过程中常常"中途答对、最后又改错"（时序振荡），于是把被丢弃的中间步预测当成信号来用：一个免训练的 时序自一致投票 在单条采样轨迹内跨步投票选出最稳定答案，一个 时序一致性强化 用"负时序语义熵"作无标签奖励做 GRPO 后训练，二者在四个数学推理基准上分别带来约 1.5% 与最高 25.3% 的提升。 这篇论文提出 CoCoMix，在标准下一词预测之外让模型预测由 SAE 抽取并按归因筛选出的高层概念，再把这些概念压缩成连续向量插入 Transformer 隐状态序列，从而在语言建模、下游推理和可控生成上比普通 NTP 与知识蒸馏更高效。 当算力远超网页数据时，作者用「重正则化 + 模型集成 + 联合参数/集成缩放 + 蒸馏」把固定 200M token 的预训练损失压到渐近值 3.17，相比标准配方节省 5.17× 数据，并把集成蒸馏进 8× 更小的学生模型仍保留 83% 收益。 查看全部79篇「预训练」论文 → 揭示模型编辑中 fine-tuning 被低估的根因是错误的训练 pipeline（深度优先逐样本优化），修正为标准的广度优先 mini-batch 训练后，配合局部化参数调优形成 LocFT-BF，首次支持 10 万次连续编辑和 72B 模型规模。 针对知识编辑会误伤"同主体但不同关系/客体"的细粒度无关知识这一被忽视的问题，本文提出 DiKE：先用一个可复用的解耦模块把主体表示拆成"与目标知识相关"和"无关"两部分，再只对相关部分做编辑、显式约束无关部分不变，并推导出一个闭式的秩一参数更新公式，在保住细粒度无关知识的同时维持了主流编辑性能。 提出 EVOKE 基准测试，系统评估大型多模态模型 (LMM) 对演化知识的注入能力，揭示两大挑战（现有方法表现差、微调导致灾难性遗忘），并提出知识增强和持续学习两条应对路径。 ACE 通过神经元级归因发现「隐式主语在多跳推理里扮演 query 神经元、逐层激活 value 神经元」这一被忽视的机制，并据此把编辑从「层级启发式」精细到「query-value 通路」，在多跳事实召回上比 SOTA 的 PMET 在 GPT-J 上高 9.44%、在 Qwen3-8B 上高 37.46%。 MoEEdit 是首个面向 MoE 大模型的「路由稳定」参数修改式知识编辑框架，用「逐专家零空间投影」保证编辑不扰动下游路由器输入，再用随机块坐标下降（BCD）求解器把代价从专家总数解耦到专家隐藏维度，从而在稀疏架构上同时拿下高编辑成功率、强泛化与路由稳定性。 本文提出 KnowledgeSmith，把"知识编辑"和"机器遗忘"统一为同一个约束优化问题，并用知识图谱自动生成跨层级（根/中间/叶）、跨数据规模的大规模评测基准，系统揭示了 LLM 知识更新中的传播不对称、一致性-容量权衡、学科依赖等一系列反直觉现象。 SUIT 把 locate-then-edit 知识编辑里"随手算出来"的键向量 \(k\) 和残差向量 \(\delta\) 限制到"和这次编辑真正相关"的低维子空间里，从而在几乎不损失编辑成功率的前提下，大幅减少对无关知识的破坏——在 LLaMA3 / GPT-J / Qwen2.5 上的 Specificity 相比强基线 AlphaEdit 翻倍提升。 通过在合成关系知识图谱上从头训练 Transformer，发现适当正则化会使模型隐层涌现出双线性关系结构（bilinear relational structure），该结构不仅能克服逆向诅咒（reversal curse），还能实现编辑单个事实后逻辑一致地传播到相关事实。 从超球面均匀性（Hyperspherical Energy）视角理解序列模型编辑中的性能退化，提出 SPHERE 方法：通过将编辑扰动投影到预训练权重主超球方向的正交补空间，实现稳定的大规模序列编辑，在 LLaMA3-8B 上平均超越最强基线 16.41%。 通过零空间约束的在线模型编辑，将 VGGT 提供的 3D 几何信息融入 2D 通用目标跟踪器中，在保持语义判别力的同时增强几何感知能力，在遮挡和背景杂乱场景中显著提升跟踪性能。 查看全部15篇「知识编辑」论文 → 💬 LLM 其他 (55) ¶ 本文提出 CK-PLUG，一个即插即用、无需训练的解码期方法：先用「置信增益（Confidence Gain）」逐 token 检测参数知识与检索上下文的冲突，再对冲突 token 用单一超参 \(\alpha\) 加权融合「参数侧」和「上下文侧」两套概率分布，从而在「更信自己」与「更信检索」之间做连续、双向、可控的调节——在 LLaMA3-8B 上能把记忆召回率（MR）在 9.9%–71.9% 区间任意拨动，同时保持生成流畅度。 SPRIG 用一套"编辑式遗传算法 + 代理奖励模型"自动拼装出一条 任务无关的系统提示 ，单条系统提示在 47 类任务上的平均提升就能和"为每个任务单独优化的任务提示"打平，二者叠加还能进一步刷新 SOTA，并且能跨模型家族、跨语言迁移。 针对掩码扩散语言模型「token 一旦解出就钉死、错了也改不了」的硬伤，本文提出 RemeDi：让模型在生成每一步同时预测 token 分布和逐 token 置信度，按置信度决定哪些位置解掩码、哪些已生成 token 要被打回掩码重采样，并配上「Remask SFT + Remask RL」两阶段训练，在开源扩散语言模型里拿到 SOTA（GSM8K 89.1%、HumanEval 73.2%）。 DreamOn 通过引入 [expand] 和 [delete] 两个特殊状态解决了扩散语言模型（DLM）的固定长度生成限制，无需架构修改即可实现变长代码填充，在 HumanEval-Infilling 上比扩散基线平均提升 26.4%，达到与 SOTA 自回归模型持平的水平。 提出 d²Cache，一种面向 Diffusion-based LLM（dLLM）的无训练近似 KV 缓存框架，通过确定性先验引导的 masked token 选择 + 注意力感知的非 mask token 选择两阶段策略，实现 4.1× 推理加速同时提升生成质量。 提出 Optimas 框架，为复合 AI 系统中每个组件维护一个与全局奖励对齐的局部奖励函数（LRF），使异构组件（prompt、模型参数、超参数、模型选择）可独立优化，在五个真实系统上平均提升 11.92%。 TableMaster 先把表格的"结构特征"系统拆成四类挑战，再针对性地给出"构建聚焦子表 + 口语化补语义 + 自适应在文本/符号推理间切换 + 文本引导符号推理"四味配方，串成一个无需微调的三阶段框架，在 WikiTQ 上用 GPT-4o-mini 把准确率从 64.73% 推到 78.13%。 本文提出第一个能在 扩散语言模型（DLM） 上强制满足 上下文无关文法（CFG） 的约束解码方法：把"任意顺序生成的带洞文本能否补全成合法串"抽象为一个 加性填充判定问题 ，再把它归约为"目标 CFG 与所有可能补全构成的正则语言之交集是否为空"，并用一套高度优化的空性判定算法把理论上立方级的开销压到实用范围，在 C++ 代码、JSON、SMILES 上把语法正确率提到近 100%，同时还小幅提升了功能正确率。 提出 BOTS——一个基于贝叶斯推断的在线任务选择统一框架，在 LLM 强化微调中通过融合显式证据（直接评估的历史通过率）和隐式证据（利用参考模型插值推断的未评估任务难度），配合 Thompson 采样实现探索-利用平衡，在数学/代码/逻辑任务上以仅 0.2% 的额外开销带来最高 50% 的训练加速。 提出反转诅咒（Reversal Curse）是认知科学中"绑定问题"在Transformer中的表现——源于概念表示的不一致性和纠缠性，并首次设计出基于JEPA和记忆层的架构真正突破反转诅咒（非绕过）。 查看全部55篇「LLM 其他」论文 → 提出 mean activation difference steering 方法和配套定量指标，在韵律诗生成和问答两个案例上跨 23 个开放模型（1B-32B）系统性证明：目标 token（韵脚/答案）的表示在序列早期位置已形成（前向规划），且因果性地影响中间 token 生成（后向规划）——隐式规划从 1B 模型即出现，是普遍机制而非大模型专属。 LANE 把"识别错标样本"的经典 margin 指标升级为 标签感知边距 (Label-aware Margin) ——同样是负边距，若被错标的类别与模型预测类别语义相近（如把"愤怒"标成"恐惧"）就少惩罚，语义相远（把"信任"标成"恐惧"）才重罚，并据此对每个样本动态加权而非硬删除，在 10 个文本分类数据集上稳定超过 AUM/HMW 等强基线。 本文提出 Self-adaptive Schema Scaffolding (S3) ——一种训练无关的方法，把结构模板（schema）当作"半去噪初始态"直接灌进扩散大语言模型（dLLM）的输出上下文，再配合 null 占位符自适应长度，让 dLLM 在更少去噪步数下稳定生成合法 JSON 等结构化输出，结构合规率从基线的 30%~80% 提升到 99%+，且幻觉率更低。 从 proper scoring rules 框架出发，证明最高概率输出序列的负对数似然（MSP）是理论上合理的不确定性度量，并提出 G-NLL——仅用一次贪心解码就能逼近该度量，在多个场景下匹配或超越需要多次采样的 SOTA 方法。 提出 FS-DFM（Few-Step Discrete Flow-Matching），通过步数感知训练和累积标量更新规则，将离散 flow-matching 语言模型的采样步数从 1024 步降低到 8 步，实现 128 倍加速，同时保持相当的困惑度和生成质量。 这篇论文指出掩码扩散语言模型训练时默认的“随机解掩码路径”和推理时实际使用的 planner 路径不一致，并提出 Planner-Aware Path Learning（PAPL），用 planner 置信度重加权 masked diffusion loss，让训练更贴近推理路径，在蛋白序列、文本生成和代码生成上稳定提升质量。 GloSA-sum 首次把拓扑数据分析（TDA）引入文本摘要：用持续同调一次性算出文档的语义骨架与逻辑环路存进"保护池"，再用轻量代理指标迭代删句，在不丢核心逻辑链的前提下做到压缩既快又准，并能给下游 LLM 任务缩短上下文。 本文发现 instruction-tuned 扩散语言模型存在「 <eos> overflow」早停顽疾——分配的生成长度越长、回答反而越短甚至塌缩成一串 <eos> ；根因是 <eos> 同时被当作终止符和填充符，于是作者提出 Rainbow Padding：只保留一个 <eos> 标记真正结束、其余填充位用 K 个不同 padding token 循环铺满，仅靠 7 个 token + 单 epoch LoRA 就能恢复长度鲁棒性，把 LLaDA 在 MATH 上的准确率从 0.6% 拉到 32.6%。 本文提出 p-less 采样：一种 完全没有超参数 的截断式解码方法，每一步用整个 token 分布的"碰撞概率" \(\sum_v P_\theta(v)^2\) 当作动态截断阈值，在数学、逻辑推理和创意写作上都优于 top-p / min-p 等方法，并且在高温下几乎不退化、推理还更快。 针对深度研究系统生成的长文报告"引用质量差、可读性低"的问题，本文提出一套基于标签的双层意图（段落意图 + 引用意图）写作框架，既能在推理时通过 prompt 直接提升大模型，又能用带意图的合成数据蒸馏小模型——在三个科学报告生成基准上，大模型平均涨 +2.9 分、小模型涨 +12.3 分，引用指标提升尤为显著。 Antislop 把"LLM 生成里那些一眼能认出是 AI 的重复套话（slop）"当成可量化、可定位、可消除的对象：先用频率比统计画出模型专属的"slop 指纹"，再用一个推理期的回溯采样器精准压制这些模式，最后把采样器的拦截记录自动转成偏好数据，用新提出的 FTPO 微调把抑制能力永久焊进权重——在 GSM8K/MMLU/创意写作上几乎不掉点的前提下做到 90% 的 slop 削减。 本文提出 Causal-Steer：把 LoRA 当成一次"因果干预"，在 同一条输入 上对比加/不加 LoRA 扰动的激活差，从而摆脱平行语料、抽出一条干净的风格向量，再经 PCA 去噪 + 几何中位数鲁棒聚合，最终在推理时用一个标量 \(\alpha\) 实现连续、双向、可线性插值的 LLM 风格控制。 查看全部12篇「文本生成」论文 → 把对话"翻转"过来——不再训练 LLM 当好助手，而是专门后训练一个 用户语言模型（User LM） 去模拟真实人类用户，用它在多轮对话里逼出助手 LM 在真实场景下的短板（GPT-4o 任务成功率从 74.6% 掉到 57.4%）。 FlyThinker 提出了一种高效的 "think-while-generating" 框架，使用独立的推理模型(Reasoner)在 token 级别并行生成潜在推理信号，动态融入生成模型(Generator)以指导个性化长文本生成，同时保持训练和推理效率。 基于marketing研究定义四类非协作用户行为（不可用服务/跑题闲聊/不耐烦/不完整表述），构建了可保持goal-alignment的模拟框架，在MultiWOZ和τ-bench上系统暴露了SOTA工具Agent的行为特异性失败机制——跑题闲聊导致平均SR下降29.1%，且不同模型呈现截然不同的崩溃路径（GPT系列陷入helper API重复调用，Qwen系列倾向于幻觉编造API结果）。 通过对比有/无视觉输入的逐层隐藏表征（chain-of-embedding），发现LVLM中存在一个"视觉整合点"(VIP)层，并据此提出Total Visual Integration (TVI)指标来量化语言先验的强度。 本文提出一个计算极快的稳健性检验：在 Chatbot Arena 这类基于 Bradley–Terry 模型的 LLM 排行榜上，只要丢掉 最坏情况 下极小一撮（最少 0.003%、两条）人类偏好评测，就能让排名第一的模型换人——并且方法还能精确指出是哪几条偏好导致了翻盘。 DRIFT 把真实部署里大量但隐式的"用户不满"（DSAT）当作高质量负样本锚点，正样本则从当前策略动态采样，用标准 DPO 迭代训练，无需人工标注/奖励模型/更强模型生成的正例，就让 14B 模型在 WildBench 上超过 GPT-4o-mini。 提出 AQuA，首个按模糊度细粒度分级（4 级）的视觉问答数据集（7.2K 样本），为每级定义最优回应策略（直接回答/推断/列举/请求澄清），发现 GPT-5 和 Gemini 在模糊 VQA 上都过度自信地直接回答，通过 SFT+GRPO 训练的 3B 模型反而能超越闭源大模型的策略适应能力。 针对 LLM 角色扮演时只会模仿表层动作、记不住人物"内在状态"的问题，本文让 LLM 把人物档案自动 编译成可执行的有限状态机（CFSM） ，用代码显式记录角色状态及其转移规则，并进一步扩展成用概率分布建模状态的 CPFSM；在合成验证和 Fandom 真实剧情基准上都比纯 prompt 的状态建模基线更连贯、更可解释。 提出 Reasoning Inception（ReIn），一种无需修改模型参数或系统提示的测试时干预方法，通过外部 inception 模块检测对话错误并将恢复计划注入任务 agent 的推理链中，在多种错误场景下显著提升对话任务完成率，且可泛化至未见错误类型。 ClarifyVC 用一个 Agent 编排的四阶段数据增强流水线，从 2 万条真实车载指令里"种"出大量歧义丰富、协议合规的单轮/多轮对话，配上三层评测协议与数据质量分 DQS，在这套数据上微调后让车载语音指令的解析准确率提升约 15%、歧义消解提升约 20%、协议合规度达 98%。 系统分析了MoE大语言模型中多语言路由模式，发现中间层存在跨语言共享专家且语言性能与英语路由对齐度强相关，进而提出推理时路由干预方法，通过在中间层激活英语任务专家，在3个模型×2个任务×15+语言上一致性地提升多语言性能1-2%。 提出 Adaptive Transfer Scaling Law (ATLAS)，通过将有效数据量分解为目标语言、迁移语言和其他语言三项并引入数据重复饱和函数，在774个多语言训练实验（10M–8B参数、400+语言）上显著优于现有scaling law（多语言 \(R^2\) 从0.67提升至0.98），并系统量化了跨语言迁移矩阵、多语言诅咒的容量约束以及预训练vs微调的计算交叉点。 提出 ASSESS 框架，其核心是 TransTED Similarity 指标——通过将形式化数学命题解析为算子树 (Operator Tree)，并在标准树编辑距离 (TED) 基础上融入 Lean 证明策略驱动的语义变换，实现了在 EPLA 基准上 70.16% 准确率和 0.35 Kappa 分数的 SOTA 性能，同时仅需 CPU 资源即可复现。 通过 logit lens 与隐状态相似度分析定位出 mLLM 中「负责语言控制」的最后几层，只微调这 3–5% 的参数就能把六种语言的语言一致性从 <20% 拉到 98%+，效果几乎等同全量微调。 利用稀疏自编码器（SAE）发现 LLM 中意外语言切换与目标语言特征异常高预激活值相关，提出 SASFT 方法在 SFT 训练中约束语言特征预激活值，将意外代码切换降低 50% 以上。 本文提出 Language Confusion Gate (LCG) ：一个不改动基座 LLM、只在解码时按需屏蔽错误语言族 token 的轻量两层 MLP，用「范数校准的自蒸馏」训练，把多模型的语言混淆率压低约一个数量级且不损任务性能。 提出ALPO(自适应局部偏好优化)用于训练表达力强的字幕翻译LLM：通过实证发现字幕翻译偏好意译且推理型LLM意译能力优于对话型LLM -> 验证LLM作为翻译评估器与人类高度一致 -> 提出逐句段的细粒度过程监督偏好对齐方法(自适应权重+动态beta+前缀混合) -> 14B模型在多方向字幕翻译的鲜活度上超越GPT-4o/DeepSeek-R1等SOTA。 DiscoX 构建了首个面向 篇章级 + 专家级 中英互译的评测基准（200 篇、平均 1712 token、7 大领域、1330 人时人工打磨），并配套提出多智能体无参考评测系统 Metric-S，揭示出即便最强 LLM（GPT-5-high 76.66）仍落后人类专家（80.16）的真实差距。 🔍 信息检索/RAG (81) ¶ 本文用高维几何里的球堆积论证给出"单向量嵌入要表示所有 top-k 文档组合所需维度"的下界定理，再用自由嵌入优化和一个极简的真实数据集 LIMIT 实证：哪怕查询简单到"谁喜欢苹果"，只要要表示的相关组合足够多，固定维度的稠密检索模型就 注定 做不到，这是单向量范式的根本瓶颈而非数据或规模问题。 本文针对"GraphRAG 在很多真实任务上反而打不过普通 RAG"这一矛盾，提出了一个覆盖图构建—检索—生成全链路、且按难度分四级任务的基准 GraphRAG-Bench，系统性地回答了"什么时候该用图、为什么用图有效"——结论是：简单事实检索用普通 RAG 就够，图结构只在复杂多跳推理、上下文综述等需要拼接分散概念的任务上才带来实打实收益，但要付出数倍的 token 开销。 LinearRAG 指出现有 GraphRAG 的性能瓶颈来自不稳定、昂贵的关系抽取，提出"只抽实体、不抽关系"的三层图（Tri-Graph）加两阶段检索（语义桥接激活实体 + 全局重要性聚合检索段落），在零 LLM token 消耗下把索引时间砍掉 77%，并在四个基准上超过所有 SOTA。 这篇论文把一个 0.5B 的 Qwen2 解码器改造成全双向编码器，配上「预训练→微调→对比蒸馏」三阶段管线、Focal 风格重加权、在线难负样本混合，以及覆盖 100+ 类别的高质量数据工程，让 KaLM-Embedding-V2.5 在 MTEB 中英榜上拿下 <1B 参数段的 SOTA，甚至能和 3–26 倍大的模型掰手腕。 针对复杂指令下"直接把多模态大模型当编码器"会失效的问题，本文提出 Think-Then-Embed（TTE）框架：先让一个 reasoner 生成"面向嵌入的推理轨迹"（ECR），再让 embedder 在原始输入与该推理轨迹的双重条件下产出向量，从而在 MMEB-V2 上取得 SOTA（TTE \(_t\) -7B 71.5%），并在开源模型中以约 7% 的绝对优势领先。 通过给 VLM 输入序列追加少量可学习的 Meta Token，并用 Matryoshka 嵌套式多向量对比训练把信息按粒度组织进这些 token，MetaEmbed 让用户在测试时自由选用 1~64 个向量来权衡检索精度与索引/延迟开销，从而在 MMEB、ViDoRe 上以紧凑的多向量表示取得 SOTA，并稳定扩展到 32B 规模。 Youtu-GraphRAG 用一份「图谱 schema」把传统上各自为政的图谱构建和图谱检索竖直串成一体——构建端用 schema 约束抽取并自动扩展，索引端用「拓扑+语义」双感知社区检测堆出四层知识树，检索端再用同一份 schema 把复杂问题拆成原子子查询并迭代反思，在 6 个基准上比 SOTA 最多省 33.60% token、提 16.62% 准确率。 DeepRAG 把"边推理边检索"建模成一个马尔可夫决策过程（MDP），让 LLM 在逐步拆解问题的同时，对每个子问题自主决定"用自己脑子里的知识答 还是 去外部检索"，通过二叉树搜索合成数据 + 模仿学习 + 校准训练三步走，在五个 QA 数据集上把答案准确率相对提升 25.41%，同时显著降低检索次数。 提出AMemGym——首个支持on-policy交互式评估的长程对话记忆基准环境，通过结构化数据采样（用户画像→状态演化→个性化问答）驱动LLM模拟用户进行角色扮演，揭示了off-policy评估的排名偏差问题，并系统诊断了RAG/长上下文/Agent记忆系统的write/read/utilization三阶段失败模式。 MILCO 用一个"多语言连接器 + 英语 MLM 头"把 39 种语言的文本统一投影到共享的英语词表稀疏空间，配合"稀疏对齐预训练"防止语义坍塌、用 LexEcho 双视图找回被翻译丢失的稀有实体，让单个 560M 稀疏模型在多语言与跨语言检索上同时超过 BGE-M3、Qwen3-Embed 等稠密/稀疏/多向量基线。 查看全部81篇「信息检索/RAG」论文 → 提出 Intuitor，一种用模型自身置信度（self-certainty，即输出分布与均匀分布的 KL 散度）替代外部可验证奖励的 RLIF 方法，在数学推理上匹配 GRPO 性能，同时在代码生成等域外任务上展现更好的泛化能力。 提出 ReasoningBank 记忆框架，从 Agent 自我判断的成功和失败经验中蒸馏可泛化的推理策略存入记忆库，并提出 memory-aware test-time scaling (MaTTS) 建立记忆与测试时扩展的协同效应，在 WebArena、Mind2Web 和 SWE-Bench 上一致超越基线（最高 34.2% 相对提升），同时减少 16% 交互步数。 本文训练了一个 7B 的掩码扩散代码模型 DiffuCoder，提出局部/全局 AR-ness 指标系统刻画扩散 LLM 的"非自回归"解码行为，并设计 coupled-GRPO（互补掩码耦合采样的扩散原生 RL 方法），在 EvalPlus 上提升 4.4%。 提出 PaperCoder——一个多智能体 LLM 框架，通过规划（Planning）、分析（Analysis）、生成（Coding）三阶段流水线，将机器学习论文自动转化为可运行的代码仓库，其中 88% 的生成仓库被论文作者评为最佳，且在 PaperBench 基准上大幅超越基线。 构建 Ambig-SWE（基于 SWE-Bench Verified 的欠指定变体），系统评估 LLM 编程 agent 在三个维度上的交互能力——检测欠指定、提出澄清问题、利用交互信息——发现交互可将欠指定场景下的解决率提升最高 74%，但模型默认非交互行为且难以区分指定充分/不足的指令。 本文提出把 Agentless（工作流式）训练当作 SWE-Agent（多轮交互式）的"技能先验"，用一套 mid-training + cold-start + RL + 测试时自博弈的配方训出开源模型 Kimi-Dev，在 SWE-bench Verified 上取得工作流方案 SoTA 的 60.4%，再用 5k 条轨迹轻量 SFT 即把它升级成 48.6% pass@1 的智能体，与 Claude 3.5 Sonnet 持平。 VERINA 用 189 道人工精修的 Lean 编程任务，把"可验证代码生成"拆成代码生成（CodeGen）、规约生成（SpecGen）、证明生成（ProofGen）三个可独立、可组合评测的基础任务，并给出一套"定理证明 + 全覆盖测试"的多阶段规约评估器，结果显示即便最强的 o3 也只有 72.6% 代码正确率、52.3% 规约合格率，证明成功率更是低到 4.9%。 不再把 LLM 当成直接出招的"棋手"，而是让它把游戏规则和少量对局轨迹 翻译成一份可执行的 Python 世界模型代码 （含状态转移、合法动作、终局判定，外加价值函数与隐状态推理函数），再把这份代码交给 MCTS / ISMCTS 这类经典规划器去深搜；在 10 个游戏（含 4 个自造的全新游戏）上，9 个游戏打平或战胜 Gemini 2.5 Pro。 RECODE-H 把"研究代码生成"从一次性出题改成多轮人机协作：102 个来自真实顶会论文+官方仓库的仓库级任务，配上单元测试和一套五级反馈层级，再用 ReCodeAgent（ReAct 多轮 + 记忆压缩）做强基线，系统量化"反馈越细、LLM 改得越对"——GPT-5 的 Recall 从无反馈 29.4% 一路升到最强反馈 71.6%。 QLCoder 把一个 LLM-Agent 嵌进「生成候选查询 → CodeQL 执行打分 → 按反馈修补」的迭代回路里，并用自定义 MCP 工具箱（CodeQL 语言服务器保语法 + RAG 向量库保语义）约束它的推理，从 CVE 元数据自动合成出能"在漏洞版本报警、在修复版本静默"的 CodeQL 查询；在 176 个真实 Java CVE 上成功率 53.4%，F1 0.70，远超直接用 Claude Code（10%）和 IRIS/CodeQL 现成查询套件（F1 0.048 / 0.073）。 查看全部58篇「代码智能」论文 → 把潜空间扩散里沿用多年的 VAE 换成"冻结的预训练表示编码器（DINOv2 / SigLIP2 / MAE）+ 训练好的轻量 ViT 解码器"，再用三处针对高维 latent 的改造把扩散 Transformer 重新调通，最终在 ImageNet 256×256 上做到无引导 FID 1.51、带引导 1.13，收敛速度比 SiT 快 47×、比 REPA 快 16×。 提出 DiffusionNFT，一种全新的扩散模型在线 RL 范式：不在反向采样过程上做策略优化（如 GRPO），而是在前向过程上通过 flow matching 目标对正样本和负样本做对比式训练，定义隐式的策略改进方向，比 FlowGRPO 快 3-25×，且无需 CFG。 TempFlow-GRPO 指出现有 flow 模型的 GRPO 训练把所有去噪步「一视同仁」是核心瓶颈，通过「轨迹分叉做过程奖励 + 按噪声水平重加权 + 种子分组」三件套，让优化强度匹配每一步真实的探索潜力，在 GenEval 和 PickScore 上以更少步数取得 SOTA（GenEval 0.63→0.97，约 10× 训练效率）。 提出 SVG，用冻结的 DINOv3 自监督特征替代 VAE 潜在空间构建扩散模型，通过轻量残差编码器补充细粒度细节，实现更快训练、更高效推理和跨任务通用的视觉表征。 PixNerd 把扩散 Transformer 最后那层线性投影换成一个由 Transformer 特征动态生成权重的"逐 patch 隐式神经场头"，用它去解码大 patch 内部的精细像素，从而在不依赖 VAE、不搞级联多尺度的前提下，单阶段端到端地在原始像素空间做扩散，在 ImageNet 256×256 上拿到 1.93 FID，延迟比此前像素扩散模型低近 8 倍。 本文系统证明：表示对齐(REPA)能加速扩散模型训练，靠的 不是 目标表示的全局语义信息(ImageNet 线性探针精度)，而是其 patch token 之间的空间自相似结构 ；据此提出仅 4 行代码的 iREPA（卷积投影 + 空间归一化），在 27 个编码器、多种模型尺寸和训练配方上一致加速 REPA 收敛。 提出 rCM（score-regularized continuous-time consistency model），首次将连续时间一致性蒸馏扩展到 14B 参数的文生图/视频模型，通过结合前向散度（一致性）和反向散度（score蒸馏），在保持多样性的同时匹配 DMD2 的质量，实现 15-50× 加速。 提出首个系统性的"基准评测→奖励模型→强化学习训练"图像编辑 RL 管线：构建 EditReward-Bench 基准，训练 EditScore 系列奖励模型（7B-72B，超过 GPT-5），并成功将其用于 Online RL 训练显著提升编辑模型性能。 用一个 14B 因果 Transformer 直接对 连续图像 token 做 next-token prediction，配一个仅 157M 的轻量 flow matching 头当采样器，在不依赖重型扩散主干、也不做向量量化的前提下，把纯自回归文生图的质量做到了与顶级扩散模型同档。 构建了一个包含 200K 人工标注偏好对的高质量数据集 EditReward-Data，训练出 EditReward 奖励模型，在多个图像编辑评估基准上达到 SOTA 的人类对齐度，并验证其作为数据筛选器可显著提升下游编辑模型性能。 查看全部352篇「图像生成」论文 → LongLive 用帧级因果自回归框架，配合 KV-recache、流式长训练（train-long-test-long）和短窗口注意力 + 帧级 attention sink 三件套，把 1.3B 短片模型在 32 GPU-天内微调成能在单张 H100 上以 20.7 FPS 实时生成、支持随时切换 prompt、最长 240 秒的交互式长视频生成器。 Rolling Forcing 把逐帧自回归视频扩散改成可滚动的多帧联合去噪，并用初始帧 attention sink 锚住全局外观，从而在单卡上以接近 16 FPS 实时生成多分钟长视频，同时显著压低长期误差累积。 Self-Forcing++把短视频双向扩散 teacher 用作“短窗口纠错器”，在 student 自己生成的长视频轨迹上随机抽取退化片段做扩展 DMD 训练，并配合 rolling KV cache 与光流奖励，让 1.3B 自回归视频模型从 5 秒扩展到 100 秒乃至 4 分钟级生成，同时显著缓解过曝、变暗、停滞和误差累积。 VideoPhy-2 用 197 个真实世界动作派生出 3940 条多事件 prompt，让现代文生视频模型生成视频后由人类沿「语义遵从 / 物理常识 / 物理规则」三轴打分，揭示即便最强的 Wan2.2-27B-A14B 在 hard 子集上 joint 分也只有 47.7%，并训练了一个 7B 的 VideoPhy-2-AutoEval 自动评估器把人评成本压下来。 SANA-Video 用线性注意力替换视频 DiT 里的全注意力把复杂度从 \(O(N^2)\) 降到 \(O(N)\) ，又借线性注意力的累加性质设计了「常量显存」的块状自回归 KV cache，让一个 2B 小模型能在 64 张 H100 上花 12 天（仅 MovieGen 1% 成本）训出能生成 720×1280、分钟级长视频的模型，且在 VBench 上与 Wan2.1-14B 持平、推理快 16×。 把长视频生成重新表述为"内部信息检索"问题，提出一个无参数但可训练的稀疏注意力路由模块 MoC——让每个 query 动态选取少量相关 chunk 加上强制 anchor（文本 + 本地窗口），并用因果掩码避免回路，从而在剪掉 85% token 对、注意力 FLOPs 降 7× 的同时，把分钟级视频的身份/动作/场景一致性维持住甚至做得更好。 UniVideo 用冻结的 MLLM 负责多模态理解与指令解析，用 MMDiT 负责高保真图像/视频生成，把视频理解、文生视频、图生视频、in-context 视频生成和无 mask 视频编辑统一到同一套自然语言指令框架中，并在多项视频生成与编辑任务上达到接近或优于专用模型的效果。 通过把视频扩散模型的中间特征对齐到 3D 基础模型 VGGT 的几何表示（角度对齐 + 尺度对齐两个解耦目标），让纯视频数据训练的扩散模型"内化"3D 结构，从而显著提升长时视频生成的几何与时序一致性，并能在推理时反推出显式 3D 几何。 提出 JavisDiT，基于 DiT 架构的音视频联合生成模型，通过层级化时空同步先验估计器（HiST-Sypo）实现细粒度的音视频时空对齐；同时构建了新基准 JavisBench（10K 复杂场景样本）和新评估指标 JavisScore。 提出MotionStream——首个运动控制的实时流式视频生成系统：先训练轻量track head的双向运动控制teacher，再通过Self Forcing + DMD蒸馏为因果student，引入注意力沉降（attention sink）+滚动KV缓存（rolling KV cache）实现训练-推理分布完全匹配，单H100 GPU上480P达17FPS/29FPS（+Tiny VAE），支持无限长度恒速生成。 查看全部97篇「视频生成」论文 → 🧩 多模态 VLM (211) ¶ 本文提出层次化视频 token 压缩方法 HiCo，把长视频上下文从 Clip 级到 Video 级两步压到约 \(1/50\) （平均每帧仅 16 token），再配上一套短到长的多阶段训练、114K 长视频的 LongVid 数据集和更难的多跳 NIAH 评测，造出 7B 量级就能在长短视频基准上同时超过 GPT-4o / Gemini-1.5-Pro 的 VideoChat-Flash，并在万帧 NIAH 上拿到 99.1% 的准确率。 六位 3D 视觉研究者耗时 300+ 小时、从 12 万张真实图像中纯人工打磨出 1000 道 多图空间推理 选择题，构成 MMSI-Bench；37 个主流 MLLM 上最强开源仅 30%、GPT-5 也只有 41.9%，而人类 97%，并配套了一条借助人工推理标注的自动化错误诊断流水线。 WorldSense 是第一个 强制音频与视觉协同 的真实世界全模态视频理解基准——1662 段同步音视频、3172 道多选题，每道题都设计成"去掉音频或去掉视频就答不对"，结果连最强的 Gemini 2.5 Pro 也只有 65.1% 准确率，多数开源音视频模型甚至接近随机猜测。 不动 VLM 架构、不引入点云模态，仅用「视频 + 重建出的鸟瞰图 + 跨帧一致的物体 ID 标记」这套视觉提示，就把 2D 视觉语言模型补出 3D 室内场景理解能力，并在零样本与微调两种设定下都刷到 SOTA。 DeepEyesV2 想把"调用外部工具"真正织进多模态模型的推理过程：让模型在一条推理轨迹里自主决定何时写 Python 代码、何时发起网页搜索，并把工具输出回填继续推理；作者发现直接 RL 学不会稳定的工具调用，于是用"冷启动 SFT + 强化学习"两阶段训练，在感知、数学推理、搜索三类基准上都拿到一致提升（如 MathVerse +7.1、MMSearch 63.7% 远超 53.8% 的专用搜索模型）。 StreamingVLM 用“训练时重叠短片段、推理时复用紧凑 KV cache”的统一框架，让 7B 级 VLM 能在数小时视频流上保持低延迟、长程记忆和逐秒级实时解说能力。 这篇论文提出 VLMBias 反事实视觉评测框架，系统修改动物、Logo、国旗、棋盘、棋类棋盘、错觉图和图案网格中的标志性视觉元素，发现主流 VLM 在客观计数任务上平均只有 17.05% 准确率，并且 75.70% 的回答会回到常识先验而不是图像证据。 VL-JEPA 把传统 VLM 的自回归 token 生成改成目标文本语义 embedding 的非自回归预测，在同等训练设置下比 token-space VLM 更省参数、更快收敛，并天然支持分类、检索、VQA 与在线视频场景下的选择性解码。 OmniVinci 用三个针对"视觉-音频对齐"的架构改进（OmniAlignNet 语义对齐、时序分组、约束式旋转时间编码）外加一条能合成 2400 万条对话的数据流水线，仅用 0.2T token 就训练出一个能同时理解视频、声音、语音和文本的开源全模态 LLM，在多个跨模态/音频/视觉榜单上超过 Qwen2.5-Omni（训练 token 只用了它的 1/6）。 RECA 把统一多模态模型自己的视觉理解嵌入当作密集“视觉提示”，通过无标注图像重建后训练重新对齐理解侧和生成侧，使 1.5B UMM 在 GenEval、DPGBench 和图像编辑基准上显著提升，并且不需要额外 caption、GPT-4o 蒸馏或强化学习。 查看全部211篇「多模态 VLM」论文 → 🧠 VLM Reasoning (112) ¶ Thyme 让多模态大模型在推理过程中自主 生成并执行代码 来完成裁剪、旋转、对比度增强等图像操作和数学计算，通过「50 万 SFT 冷启动 + GRPO-ATS 强化学习」两阶段训练激活这一能力，在近 20 个 benchmark（尤其高分辨率感知与复杂推理）上稳定超过 Qwen2.5-VL 基线。 Mini-o3 用「难样本数据集 + 多样化冷启动轨迹 + over-turn masking」三件套，把一个只训练到 6 轮交互的 VLM，在推理时自然扩展到数十轮 trial-and-error 探索，复现出 OpenAI o3 式的深度视觉搜索能力并刷新 SOTA。 基于认知心理学构建OmniSpatial——首个全面空间推理基准，系统覆盖动态推理、复杂空间逻辑、空间交互和透视转换4大维度50个子类别共8.4K人工标注QA对，让o3最强推理模型仅达56.33%而人类达92.63%→揭示复杂空间推理仍是VLM的核心瓶颈。 针对多模态 RLVR 中 67% 的错误其实源于"看不准图"这一被忽视的瓶颈，本文提出 PAPO，在 GRPO/DAPO 的优化目标里加一项"原图 vs 遮挡图"之间的隐式感知 KL 损失（外加双熵正则防崩溃），不需要任何额外标注/奖励模型/教师模型，就在 8 个多模态推理基准上带来 4.4%–17.5% 的整体提升、感知错误下降 30.5%。 构建了首个大规模多样化交错文本-图像推理数据集 ZEBRA-COT（182K 条推理轨迹，覆盖 18 个领域），通过脚手架实验证明视觉 CoT 对前沿模型有高达 +43% 的提升潜力，并通过微调让 Anole-7B 和 Bagel-7B 获得内生视觉推理能力。 提出 MindCube 基准（21,154 题 / 3,268 图）系统暴露 VLM 在「有限视角下重建未见空间」上几乎等同随机猜测的缺陷，并通过「先画认知地图、再在地图上推理」（map-then-reason）的 SFT + RL 方案，把 Qwen2.5-VL-3B 的准确率从 37.8% 拉到 61.3%。 提出 VTool-R1，首个通过强化学习微调训练 VLM 生成交错文本和视觉中间推理步骤的框架，使模型学会"用图像思考"。 LVR 让多模态大模型不再只在文本空间里"想"，而是用 LLM 的最后隐状态直接在视觉嵌入空间里自回归地重建出与问题相关的视觉语义（"先看后说"），并配合改造版 GRPO 强化学习，在感知密集型 VQA 任务上显著超越"Think about/with Images"两类范式。 针对自动驾驶/机器人这类「多摄像头同时看前后左右」的自我中心多视角场景，本文建了第一个户外 3D 空间推理基准 Ego3D-Bench（8.6K QA），并提出一个 训练无关、即插即用 的框架 Ego3D-VLM：把被问到的物体在 3D 全局坐标里定位、生成一张紧凑的「文字版认知地图」喂给任意 VLM，让多选 QA 平均涨 12%、绝对距离 RMSE 平均降 56%。 VGR 让多模态大模型在思考过程中像人一样"回放视觉记忆"——推理时自主框出关键区域并把该区域的高分辨率视觉 token 取回来续接思考，配合一套带 grounding 信号的 VGR-SFT 数据，在仅用 LLaVA-NeXT 30% 视觉 token 的前提下，于 ChartQA、AI2D、MMStar 等细粒度图像理解任务上大幅超过基线。 查看全部112篇「VLM Reasoning」论文 → ⚡ VLM Efficiency (18) ¶ SP-VLA 将 VLA 动作序列分为"深思型"与"直觉型"两类，深思型调用大模型、直觉型用轻量 Ridge Regression 近似，同时对 token 做空间-语义双感知剪枝，在 LIBERO 实现 1.5× 无损加速、SimplerEnv 实现 2.4× 加速。 PRUNESID 是一个训练免训（training-free）的视觉 token 压缩框架，用「语义主成分聚类（PSCA）+ 组内非极大值抑制（NMS）」两阶段流水线同时兼顾 token 的语义重要性和信息多样性，并按图像复杂度动态分配 token 预算，在 LLaVA-1.5 上只保留 11.1% token 就拿到 96.3% 的相对精度，在 LLaVA-NeXT 极端压缩（5.6%）下仍保 92.8%。 提出 HiDrop 框架，通过对 MLLM 不同层的功能进行深入分析（浅层=传播器、中层=融合中心、深层=语言推理），设计了 Late Injection（跳过浅层）+ Concave Pyramid Pruning（凹金字塔中层剪枝）+ Early Exit（深层退出）三阶段策略，压缩约 90% 视觉 token 且几乎不损失性能，训练加速 1.72×。 发现LVLM中KV Cache存在模态特异和注意力头特异的语义冗余，仅靠重要性选择会丢失语义覆盖，提出MixKV按头自适应混合重要性与多样性分数进行KV Cache压缩，在极端压缩下平均提升5.1%。 VisionTrim 是一个免训练的多模态大模型（MLLM）加速框架，用 DVTS（兼顾全局语义和局部空间连续性挑选主导视觉 token）+ TGVC（用文本引导把被丢弃的 token 聚类合并成补充 token）两个即插即用模块，在视觉编码和 LLM 解码两个阶段同时压缩视觉 token，在 LLaVA-1.5 上砍掉 88.9% 视觉 token 仍能保持 98.8% 的平均性能。 iLLaVA 跳出"只在 LLM 阶段压缩 token"的惯性，把 token 合并同时插进 图像编码器 和 LLM 两个阶段，并用"信息 token + 回收 token"的合并策略把被丢弃 token 的有用信息收回来，训练-free 实现端到端 2× 吞吐、4× prefilling 加速且保持 >95% 性能。 本文发现现有视觉 token 剪枝方法之所以在视觉定位（visual grounding, VG）任务上崩盘，是因为它们破坏了由位置编码构建的"全局空间参考系"，于是提出 Nüwa——一个受群体智能（Boids）启发的两阶段剪枝框架，先在视觉编码器侧用"分区-对齐-聚合"保住空间锚点、再在 LLM 中段做文本引导的精筛，把 VG 任务的性能保持率从 ~7% 拉到 47%，同时 VQA 维持在 95%。 Photon 是一个直接吃整段 3D 医学体数据（CT/MRI）的多模态大模型，用「指令条件 Token 调度（ITS）」按每个问题自适应地决定保留多少视觉 token，再用「代理梯度传播（SGP）」让离散丢 token 这件事在训练时仍然可微，从而在医学视觉问答上同时拿到 SOTA 精度、约 5 倍训练加速和约三分之二的显存节省。 揭示了LVLM中RoPE位置编码隐式建立的视觉坐标系统（IVC tokens），提出一种训练免的、提示感知的视觉token剪枝策略，在保留IVC tokens和语义前景token的同时，削减约50%视觉token并维持≥99%原始性能。 LearnPruner 通过实证拆穿了"attention 分数 = token 重要性"这一通行假设，指出视觉编码器的 [CLS] attention 被 attention sink 污染、而 LLM 中只有"文本→视觉"的中层注意力才可靠，进而用一个可学习剪枝模块替代 [CLS] attention、再叠加 LLM 中层的文本引导剪枝，仅保留约 5.5% 视觉 token 即可维持 95% 性能并取得 3.2× 加速。 查看全部18篇「VLM Efficiency」论文 → 提出 MMSU（5000 条音频 QA、47 个任务），首个系统融合语言学理论的语音理解与推理基准，评测 22 个 SpeechLLM，发现现有模型在音韵感知和复杂推理上仍存在显著差距。 YuE 把 LLaMA2 架构扩到万亿 token、训练出首个开源「歌词→整首歌」基础模型，靠 双 token 轨道解耦 （人声/伴奏分开预测）、 结构化渐进式条件 （歌词与音频按段落交错）和 为音乐重设计的上下文学习 三招，生成长达 5 分钟、歌词对齐且人声生动的歌曲，音乐性上追平甚至超过部分商用系统（如 Udio、Tiangong）。 构建首个混合 Web-OS 环境的 CUA 红队测试框架 RedTeamCUA 和 864 个测试用例的 RTC-Bench，系统评估 9+ 前沿 CUA 对间接 prompt injection 的脆弱性，发现所有 CUA 均可被攻击（最高 ASR 83%），且能力越强的模型越危险——攻击尝试率（AR）远高于成功率（ASR）意味着模型能力提升将直接转化为更高的攻击成功率。 提出 Stitch，在口语语言模型中实现"边想边说"——将无声推理 token 与语音 token 交替分块生成，利用音频播放期间的空闲算力完成推理。Stitch-S 首帧延迟与无推理基线一致，数学推理准确率提升约 15 个百分点。 AudioX 用一个基于扩散 Transformer（DiT）的统一模型，配上一个轻量的「多模态自适应融合（MAF）」模块和 700 万条自建多模态数据 IF-caps，让单一权重就能从文本、视频、音频的任意组合生成高保真音效与音乐，并在细粒度指令跟随上大幅领先各路专才模型。 通过构建 500 万级别的多文化、全曲长、分层标注音乐数据集（MF-Skills + MF-Think），并在增强版 Audio Flamingo 3 骨干上叠加「SFT → CoT 冷启动 → GRPO 强化学习」的训练配方，Music Flamingo 让音频语言模型从"识别表层属性"跃升到"像训练有素的音乐家一样进行分层、理论感知的音乐推理"，在 12+ 音乐理解与推理基准上刷新 SOTA。 本文首次系统揭示扩散语言模型（dLLM）中由双向建模和并行解码机制引发的固有安全漏洞，并提出 DiJA 越狱攻击框架，通过交错掩码-文本提示在多个对齐后的 dLLM 上实现接近100%的攻击成功率。 为了给语音合成补上"大规模自然度人类偏好语料"这块缺失的拼图，本文一次性放出数据集（99K 偏好对）、评测基准（1000 条高一致性样本）和奖励模型三件套，并用"SFT 冷启动 + GRPO 强化"两阶段把 Qwen2.5-Omni-7B 训成生成式奖励模型 SpeechJudge-GRM，在判别语音哪个更自然这个任务上达到 77.2%（推理时投票后 79.4%）准确率，显著超过经典 Bradley-Terry 奖励模型（72.7%）。 提出 ParaS2S 框架——包含一个评估副语言感知（emotion/sarcasm/age/gender）的语音到语音基准 ParaS2SBench，以及一个基于 GRPO 的 RL 对齐框架 ParaS2SAlign，使 S2S 模型能够在极少标注数据下习得根据说话风格调整回复的能力。 提出 TASTE（Text-Aligned Speech Tokenization and Embedding），通过跨注意力机制将语音 token 与文本转录对齐，实现极低比特率（~150 bps）下的高质量语音重建，并使文本-语音联合建模变得直接高效，1.3B 参数的 TASLM 超越 7B 预训练 SLM。 查看全部79篇「音频/语音」论文 → 🔎 AIGC 检测 (30) ¶ 本文提出"所有 patch 都重要、用得越多越好（All Patches Matter, More Patches Better）"的检测原则，发现现有 AI 生成图像（AIGI）检测器存在"少数 patch 偏置（Few-Patch Bias）"——只盯着极少数 patch 做判断；据此设计 Panoptic Patch Learning（PPL）框架，用随机 patch 重建 + patch 级对比学习把判别能力摊平到全图所有 patch，在 GenImage、DRCT-2M、AIGCDetectBenchmark 和真实场景 Chameleon 上都把跨生成器泛化性和鲁棒性显著刷高（CLIP backbone 在 GenImage 上 mAcc 97.2%、std 仅 1.7）。 EditLens 不再把文本二分为"纯人写/纯 AI 生成"，而是用轻量相似度指标（余弦距离、soft n-grams）作为中间监督，微调一个回归模型来连续地预测"这段文本被 AI 改了多少"，在二分类（F1=95.6%）和三分类（macro-F1=90.4%）上都刷到 SOTA。 构建了迄今最大的 AI 生成同行评审数据集（788,984 篇评审），系统评估了 18 种 AI 文本检测方法在同行评审场景下的表现，并提出了利用论文原文作为上下文的 Anchor 检测方法，在低误报率下大幅超越所有基线。 提出 DiNCo 方法，通过让 LLM 独立 评估自动生成的干扰选项（合理但错误的替代答案）来暴露其"暗示性偏差"，用干扰项上的总置信度进行归一化，并融合生成一致性与验证一致性两个互补维度，在短文本 QA 和长文本生成任务上显著改善置信度校准。 本文用几何投影视角解释了"重写式"LLM 文本检测方法的有效性，并据此提出 L2D——不再用固定距离衡量原文与重写文本的差异，而是自适应地 学习一个距离函数 ，在 100+ 个设定上相对最强 baseline 取得 41.5%~75.4% 的平均提升。 本文提出 ArEnAV ——首个面向「阿拉伯语-英语句内语码转换（code-switching, CSW）」的大规模音视频深度伪造数据集（387k 视频、765+ 小时），用一条整合 4 个 TTS + 2 个唇形同步模型的生成流水线，把真实 YouTube 视频里说话内容做「内容驱动」的语义篡改，并系统证明现有 SOTA 检测/定位模型与人类在这种多语种、语码转换场景下几乎全部失效。 针对现有 AI 生成视频检测器普遍把输入帧缩放/裁剪到固定低分辨率（如 224×224）从而破坏关键伪造痕迹的问题，本文提出一套"原生尺度"检测框架——基于 Qwen2.5-VL 的视觉 Transformer 直接以任意原始分辨率和时长处理视频，并配套构建了覆盖 15 个生成器的 14 万级训练集和高真实度的 Magic Videos 评测基准，在多个 benchmark 上刷新 SOTA。 提出 HiDA-Net：用「全局缩略图 + 覆盖全图的原分辨率切片」双路输入，配合特征聚合、token 级伪造定位和 JPEG 质量因子估计三件套，做到"不漏掉任何一个像素"，在高分辨率 AI 生成图像检测上大幅刷新 SOTA。 针对 AI 生成图像里那些"看着真、细想假"的语义级异常（违反物理、常识、解剖逻辑），本文把它形式化成一个"检测 + 解释 + 评分"的任务，用多智能体流水线 AnomAgent 加轻量人工校验造出 21.5K 图、十几万条结构化四元组标注的 AnomReason 基准，并提出语义匹配指标 SemAP/SemF1；在此微调出的 AnomReasonor-7B 在语义检测上超过所有开源 VLM、逼近 GPT-4o。 通过 26 位专业作家对 8618 条表达的 close reading 标注，揭示 n-gram 新颖度不足以衡量文本创造力——约 91% 的高 n-gram 新颖表达并不被认为具有创造性，且开源 LLM 中高 n-gram 新颖度与低语用合理性负相关。 查看全部30篇「AIGC 检测」论文 → 🧊 3D 视觉 (194) ¶ 把循环式 3D 重建模型 CUT3R 的状态更新重新解读为一个测试时在线学习问题，用记忆状态与新观测之间的对齐置信度推导出一个闭式的、逐 token 的自适应学习率来门控状态更新，从而在不训练、不加参数的前提下大幅缓解长序列遗忘——全局位姿精度比基线提升 2×，同时仍保持 20 FPS、6 GB 显存处理上千张图像。 STREAM3R 把稠密 3D 重建重新表述成「decoder-only Transformer 的逐帧因果注意力」问题——每来一张新图就让它对历史帧缓存做因果 cross-attention 并回归点图，从而像 LLM 一样用 KVCache / 滑窗注意力做在线增量重建，在静态和动态场景的深度估计与 3D 重建上都优于或持平现有流式方法，且推理更快。 Scenethesis 是一个免训练的智能体框架，用 LLM 起草粗布局、视觉基础模型做视觉接地与场景图提取、物理感知优化器（语义对应 + SDF 接触/支撑约束）逐物体校正位姿，再用 GPT-5 裁判验证空间一致性并触发重规划，从而生成室内外通吃、碰撞少、稳定性高的可交互 3D 场景。 HoloPart 把 2D 的"非模态分割"(amodal segmentation)概念引入 3D，提出"3D 部件非模态分割"新任务——把一个整体网格拆成 几何完整 的语义部件(而非破碎的表面片)，并用一个带局部注意力 + 全局形状上下文注意力的扩散模型做部件形状补全来实现它。 作者用游戏引擎自采 + 整合 12 个公开数据集，构建了一个横跨模拟器/机器人/人类/互联网四大域、带深度/相机位姿/文本/光流/前景掩码五种模态、规模超 3 亿帧的 4D 世界建模数据集 OmniWorld，并配套一套自动标注流水线与基准，实测把现有 SOTA 在它上面微调后能在 3D 几何重建和相机可控视频生成上明显涨点。 构建OpenFly——航空视觉-语言导航(VLN)综合平台：集成4种渲染引擎(UE/GTA V/Google Earth/3DGS)+开发全自动数据生成工具链(点云获取→语义分割→轨迹生成→GPT-4o指令)+构建10万轨迹大规模数据集(18场景)+提出关键帧感知VLN模型OpenFly-Agent(关键帧选择+视觉token融合)，在已见/未见场景分别以14.0%/7.9%的成功率优势超越现有方法。 Prior Depth Anything 用"先粗后细"的两段式流程，把传感器测出来的 精确但稀疏 的度量深度先验，和单目深度模型预测出来的 完整但相对 的几何结构融合起来，单个模型零样本统一了深度补全、超分、修复三类任务，在 7 个真实数据集上追平甚至超过各自的专用 SOTA。 Human3R 把在线 4D 重建基础模型 CUT3R 冻住、只用视觉提示微调插入「人体提示」，就能在单次前馈中同时吐出多人 SMPL-X 网格（everyone）、稠密场景点云（everywhere）和相机轨迹（all-at-once），15 FPS、8 GB 显存、单卡一天训练即达 SOTA。 YoNoSplat 用一个前馈模型，从任意数量、无位姿、无标定的多视图图像里直接预测每视图局部 3D 高斯 + 相机位姿 + 内参，再聚合成全局场景；靠"混合强迫（mix-forcing）"训练策略和成对距离归一化 + 内参条件嵌入两招，解决位姿/几何纠缠和尺度歧义，在有位姿/无位姿两种设定下都做到 SOTA，100 张图 2.69 秒重建一个场景。 Trace Anything 把视频里的每个像素表示成一条连续 3D 轨迹，并用一次前馈推理直接预测整段视频的轨迹场，从而在无需深度、光流、2D跟踪器或逐场景优化的情况下完成高效的 4D 动态场景表示。 查看全部194篇「3D 视觉」论文 → RF-DETR 用 DINOv2 互联网级预训练 + 端到端权重共享 NAS 训练一个"超网"，让一次训练就能在网格搜索中无需重训地导出整条精度-延迟 Pareto 曲线，在 COCO 上首次让实时检测器突破 60 AP，在真实世界数据集 RF100-VL 上以 20 倍速度反超 GroundingDINO。 提出 TreeBench（首个可追溯视觉推理基准，405道高挑战 VQA，OpenAI-o3 仅 54.87%）和 TreeVGR（通过双 IoU 奖励的强化学习联合监督定位与推理的训练范式），7B 模型在 V*Bench +16.8、MME-RealWorld +12.6、TreeBench +13.4，证明可追溯性是推进视觉推理的关键。 通过线性探测实验证明 CLIP 的 BoW（词袋）行为并非源于编码器缺乏绑定信息，而是跨模态对齐的失败；提出 LABCLIP，仅训练一个轻量线性变换即可显著恢复属性-对象绑定能力。 提出 ASEntmax（Adaptive-Scalable Entmax），用可学习温度的 α-entmax 替代 softmax 注意力，从理论和实验两方面证明稀疏注意力能实现 1000× 长度外推，解决 softmax 在长上下文下的注意力弥散（dispersion）问题。 针对目标检测训练数据的类别/尺寸/位置偏差，本文提出一套"诊断—生成"去偏框架：用超越频率的 表征分数（RS） 找出真正欠表征的数据组，用 RS 重标定布局并以 视觉蓝图 （彩色矩形像素条件）+ 对偶生成对齐 合成高保真样本，把稀有类提升 3.6 mAP、大目标提升 4.4 mAP，合成图布局准确率比此前 L2I SOTA 高 15.9 mAP。 DeCo-DETR 把开放词汇检测里"在线调用文本编码器"和"定位与对齐互相打架"这两件事解耦——用 LVLM 离线蒸馏出一个可复用的分层语义原型池替代推理时的文本编码器，再用双流梯度隔离把定位和语义对齐分开训练，在 OV-COCO novel 类上提升 3.1~5.8 个点的同时把单图推理压到 135ms。 提出 PaAno，一种基于 patch 级表示学习的轻量时间序列异常检测方法，使用 1D-CNN 编码器 + triplet loss + pretext loss 学习 patch 嵌入空间，通过与记忆库中正常 patch 的距离计算异常分数，在 TSB-AD 基准上全面 SOTA，且仅需 0.3M 参数和数秒推理。 针对"只用一个点标注训练旋转框检测器"这一弱监督任务，本文提出 Point2RBox-v3，用渐进式标签分配（PLA）把伪标签里的尺度信息喂给 FPN 多层标签分配、并用先验引导的动态掩码损失（PGDM-Loss）让 SAM 管稀疏场景、分水岭管密集场景，在 DOTA-v1.0 等六个遥感基准上把点监督旋转检测推到新 SOTA（DOTA-v1.0 两阶段 66.09%）。 WS-COC 是首个用多模态大模型（MLLM）做弱监督类无关目标计数的框架，只用图像级总数作监督，靠"二分对话调优 + 比较排序优化 + 全局局部融合"三个简单策略把 MLLM 的计数能力激活出来，在 FSC-147 等四个数据集上逼近甚至超过部分点级监督的全监督方法。 提出双蒸馏框架 D24FAD，结合 query 图像上的教师-学生蒸馏（TSD）和 support 图像上的学生自蒸馏（SSD），辅以学习权重机制（L2W）自适应评估 support 重要性，在 APTOS 眼底数据集上仅用 2-shot 达到 100% AUROC。 查看全部30篇「目标检测」论文 → SAM 3 把"找出并分割图像/视频里某个概念的所有实例"（Promptable Concept Segmentation, PCS）做成一个统一模型——用名词短语或图像样例当提示，靠一个共享骨干 + 检测器 + 记忆跟踪器输出所有匹配实例的 mask 与跨帧身份，再配一套人机协同数据引擎产出 4M 概念标签的训练集，最终在图像/视频 PCS 上把现有系统的精度翻倍。 这篇论文提出 Segment Concept（SeC），把大视觉语言模型抽取到的目标级“概念表示”按需注入 SAM 2.1 风格的视频目标分割流程，在复杂多镜头场景下显著减少外观相似干扰与目标重现失败，并构建了专门考察语义级 VOS 能力的 SeCVOS benchmark。 提出VINCIE框架，首次证明in-context图像编辑模型可以完全从原生视频数据中学习，通过将视频标注为交错多模态序列并设计三个代理任务（NIP/CSP/NSP），在多轮编辑基准上达到SOTA，5轮编辑成功率从基线<2%提升至25%。 把指代视频目标分割（RVOS）重新定义为「在文本引导下、把视频隐空间表征连续形变成掩码」的 ODE 流问题，直接微调预训练文生视频（T2V）模型 Wan2.1，用三个聚焦轨迹起点的策略稳住训练，在 MeViS、Ref-YouTube-VOS、Ref-DAVIS17 上全面刷到 SOTA。 针对显著目标检测（SOD）标注昂贵、数据稀缺、子任务（DIS / HR-SOD）各练各的痛点，本文用多模态扩散管线一次性生成图像+像素级掩码、配合难例反馈的迭代生成，造出 13.9 万张高分辨率合成数据集 S3OD，再用一个歧义感知的多掩码解码器统一建模，仅用合成数据训练就让跨数据集误差降低 20–50%，微调后在 DIS 与 HR-SOD 上刷到 SOTA。 深入分析Vision Transformer中[CLS]全局token和patch局部token之间的交互摩擦，发现归一化层隐式地区分了两类token，提出在归一化层和早期QKV投影中引入专门化处理路径，仅增加8%参数即实现分割性能提升超2 mIoU，同时保持分类精度。 发现 SAM2 存在类似生物视觉的稀疏感知模式（解码器聚焦前景但编码器广泛计算、记忆帧中仅少量 token 有效且显著性时间一致），据此提出 Efficient-SAM2，通过对象感知的稀疏窗口路由（SWR）和稀疏记忆检索（SMR）消除冗余计算，在 SAM2.1-L 上实现 1.68× 端到端加速且仅损失 1% 精度。 发现文本到图像扩散模型的自注意力在去噪过程中存在一个"实例涌现点"（IEP），在该时刻自注意力在物体边界呈现剧烈散度变化。TRACE通过IEP定位+ABDiv边缘提取+单步蒸馏，以81×推理加速生成高质量实例边缘，无需任何实例标注即可将无监督实例分割提升+5.1 AP，tag监督全景分割超越点监督方法+1.7 PQ。 提出 RegionReasoner，一个基于强化学习的多轮视觉推理框架，通过引用标注奖励和全局-局部一致性奖励，使推理轨迹必须显式引用参考区域坐标并保持语义连贯，在新构建的 RegionDial-Bench 上显著提升多轮定位和分割精度。

本文定义了"城市社会语义分割"这一新任务（从卫星影像中分割学校、公园等由社会属性而非视觉外观定义的实体），构建了 SocioSeg 数据集（把异构地理空间数据统一渲染成一张数字地图层）并提出 SocioReasoner 框架——用 VLM 模仿人类标注员的"先定位、再渲染反馈、后精修"两阶段推理流程，再用 GRPO 强化学习端到端优化这条不可微的提示生成管线，在三级层次任务上全面超越 SOTA 并展现出强零样本泛化。 查看全部31篇「语义分割」论文 → 本文提出 ContinuousSR，用「像素到高斯」范式把低分辨率图像一次性显式重建成一张连续的 2D 高斯场，之后任意放大倍数都只靠一次约 1ms 的快速渲染完成，在七个基准上质量超过 SOTA（Manga109 上 +0.18 dB）的同时，连续放大 40 个尺度时整体加速 19.5×。 SeedVR2 把多步扩散式视频恢复模型通过扩散对抗后训练压缩成一步生成器，并用自适应窗口注意力、渐进蒸馏和判别器特征匹配损失支撑高分辨率视频恢复，在一步推理下达到接近甚至优于多步视频恢复模型的感知质量。 Flower 把预训练 flow-matching 生成模型改造成一个线性逆问题求解器：每个时间步先预测干净终点，再用观测算子做数据一致性近端投影，最后沿 flow 轨迹推进，从而在去噪、去模糊、超分和 inpainting 等图像复原任务上取得强于现有 flow-based solver 的结果。 提出 InterActHuman，通过自动推断时空布局的掩码预测器和迭代掩码引导策略，实现多人/人物交互场景下的音频驱动视频生成，支持每个角色独立的语音驱动口型同步和身体动作。 RestoreVAR 把视觉自回归模型 VAR 从纯图像生成改造成全能图像恢复模型，用退化图像的连续 latent 做跨注意力条件，再用 latent refiner 和连续 latent 解码器补回细节，在生成式 AiOR 方法中取得更高恢复质量，并把 LDM 类方法的秒级推理压到约 0.201 秒。 提出 Solution Flow Models (SoFlow)，直接学习速度 ODE 的解函数 \(f(x_t, t, s)\) （将 \(t\) 时刻的 \(x_t\) 映射到 \(s\) 时刻的解），通过 Flow Matching 损失 + 无需 JVP 的解一致性损失从头训练，在 ImageNet 256 上 1-NFE FID 优于 MeanFlow（XL/2: 2.96 vs 3.43）。 UniRestorer 把图像退化空间层次化成多粒度退化组，并训练与之对应的 MoE 复原专家，再用退化估计和粒度估计共同路由，使全能图像复原模型既能利用细粒度退化先验，又不至于被错误退化估计拖垮。 提出 DiffusionBlocks，将残差网络的逐层更新解释为连续时间扩散过程的离散化步骤，从而将网络切分为可完全独立训练的 block，在保持端到端训练性能的同时按 block 数 B 倍减少训练显存。 Vivid-VR 在预训练 T2V 扩散 Transformer（CogVideoX1.5-5B）上接 ControlNet 做生成式视频恢复，通过一套「概念蒸馏」训练策略让 T2V 模型自己合成图文对齐的训练数据来抑制微调时的分布漂移，再配上轻量控制特征投影器和双分支连接器，从而在真实、合成与 AIGC 视频上同时拿到更真实的纹理和更稳的时序一致性。 这篇论文为扩散后验采样（DPS）算法造了一把"标准尺"：用可以精确 Gibbs 采样的 Lévy 过程信号作为测试分布，拿到分布级别的"金标准"后验样本，再用 MMSE 最优性差距和后验覆盖率两项指标，把主流 DPS 算法（C-DPS / DiffPIR / DPnP）放在去噪、去卷积、缺失填补、部分傅里叶重建四类反问题上系统评测，结论是这些算法普遍 没有校准 。 查看全部61篇「图像恢复」论文 → Earth-Agent是首个基于MCP工具生态的地球观测Agent框架，统一了RGB和光谱遥感数据，通过动态调用104个专家工具实现跨模态、多步骤、定量时空推理，配套提出的Earth-Bench基准包含248个专家任务和13,729张图像，实验证明Earth-Agent远超通用Agent和遥感MLLM。 TerraFM 面向多传感器地球观测数据，把 Sentinel-1 SAR 与 Sentinel-2 光学影像当作同一地点的天然增强视图，通过模态专属 patch embedding、逐位置 cross-attention 融合和面向长尾地表覆盖的 dual-centering DINO 训练，在 GEO-Bench 与 Copernicus-Bench 的分类和分割任务上取得了强泛化表现。 本文提出"感知接地的地理空间思维链"（Geo-CoT），让遥感 VLM 把分析过程拆成"规划→接地取证→综合"三步、每一步都用边界框把论断锚定到具体像素区域；通过构建 38 万条结构化推理数据集 Geo-CoT380k + 两阶段对齐（SFT 灌输认知结构、GRPO 精炼忠实度），训出的 RSThinker 在视觉定位、计数、检测、描述、VQA 等十余个遥感任务上大幅领先现有 SOTA。 首次系统度量地理隐式神经表示（Geographic INR）的内在维度（ID），发现256-512维嵌入的真实ID仅2-10维；冻结嵌入空间的高ID与好的下游性能正相关，而监督任务头激活空间的低ID与高性能正相关，揭示了「代表性 vs 任务对齐」的双重机制。 SelvaBox 构建了目前最大规模的开放热带森林高分辨率无人机 RGB 树冠检测数据集，并用统一的多分辨率检测基准证明：高分辨率输入、DINO-Swin 检测器和跨数据集训练能显著提升热带树冠检测的域内与零样本泛化表现。 MoRA 把人类移动（mobility）图当作多模态融合的"骨架锚点"，用 CLIP 式非对称对比学习把 POI、卫星影像、人口统计三种辅助模态对齐到十亿边级移动图上，在 9 个社会经济下游任务上以 128 维表征平均超越 SOTA 12.9%，并首次给出地理空间表示学习的标度律证据。 OF-Diff 用类别标签直接提取遥感目标的"形状掩码先验"来约束扩散生成，再用一个"在线蒸馏"框架把含真实图像信息的混合特征蒸馏进只依赖形状的解码器，使得推理时 不再需要真实图像参考 也能生成高保真、布局一致的遥感图，最后用 DDPO 强化微调进一步对齐真实分布，下游检测中飞机/船/车等类别 mAP 提升 4–8%。 提出 ABOM——一种无需预定义训练任务的自适应元黑盒优化器，通过将进化算子（选择、交叉、变异）参数化为可微注意力模块，在优化过程中利用自生成数据在线更新参数，在合成基准和无人机路径规划上实现零样本竞争性能。 SatDreamer360 从单张卫星图像和预设地面相机轨迹出发，用三平面场景表示、逐像素射线注意力和全景极线约束时序注意力，在扩散模型中生成几何对齐且跨帧一致的 360° 地面全景序列，并在新构建的 VIGOR++ 基准上优于 Sat2Density、ControlS2S 和 EscherNet。 提出 TAMMs——首个统一框架，在单一 MLLM-扩散架构中联合执行卫星图像时间序列的时序变化描述（TCD）和未来图像预测（FSIF），通过时序适配模块（TAM）唤醒冻结 MLLM 的时序推理能力，并通过语义融合控制注入（SFCI）机制将变化理解转化为生成控制信号。 查看全部11篇「遥感」论文 → 作者发现冻结的基础视觉编码器其实"悄悄"已经能区分异常——图像中异常区域的面积与其特征到自然图像流形的距离成正相关，于是只在编码器之上训练一个轻量非线性投影算子（FOUNDAD），把异常特征拉回正常流形、再用投影前后差异打分，就在少样本、多类别工业异常检测上达到 SOTA。 MRAD 用「特征-标签记忆库的相似度检索」直接替代主流 ZSAD 的参数化拟合 \(p(y|x)\) ，免训练版本就能打过 WinCLIP，再叠两层线性微调与区域先验注入的动态提示，便在 16 个工业/医疗数据集上刷到 SOTA。 提出 W1-ACAS：一种 post-hoc、免微调的自适应共形异常检测框架，把预训练时序基础模型（TSFM）的预测误差转成可直接解释为误报率（p-value）的异常分数，并通过最小化 Wasserstein 距离在线学习权重，在非平稳数据下稳定控制误报。 把 LLM 从"数据处理器"重新定位为"算法策略师"——它只看检测器的算法描述、不碰任何真实数据，就推理出该检测器的逻辑盲点并生成一段可跨数据集复用的 Python 合成代码，用来造出专门骗过这个检测器的"困难异常"，从而把原本只有正常样本的单类问题升级成更可分的两类问题，在 36 个表格异常检测基准上稳定提升五种主流检测器。 ReTabAD 是首个"上下文感知"的表格异常检测 benchmark：它把传统基准里被丢弃的文本语义（特征描述、领域知识、类别原文）重新还原回 20 个精选数据集，配齐 20 个跨经典/深度/LLM 的算法实现，并提出一个无需训练的零样本 LLM 框架，实验证明语义上下文能把检测 AUROC 平均提升 7.6 个百分点，让零样本 LLM 逼近 SOTA 训练方法。 UniOD 用一批历史带标签数据集训练 一个 通用离群检测模型：先把任意维度/语义的表格数据集统一成"多尺度相似度图 + SVD 特征"，再用 GIN+GT 双路图网络把离群检测转成节点二分类，训练完成后对 任何未见过的新数据集免训练、免调参 直接打异常分数，在 30 个基准上平均 AUROC/AUPRC 超过 17 个基线且耗时更低。 本文从理论上把 Transformer 编码器在多变量时间序列上的学习过程映射到经典 STAR 统计模型，进而提出对自注意力施加低秩正则的 ALoRa-T，用注意力矩阵的"秩"作为异常信号做检测，并借助可解释的贡献权重把异常回溯到具体变量做定位。 ConFVG 用图拉普拉斯的第二小特征向量（Fiedler 向量）指导图自编码器的掩码策略来在标签稀缺时学结构感知表征，再用子图注意力融合 + Mean Teacher 在无标签的在线流里持续适应不断变化的欺诈模式，实现医保欺诈的实时检测。 这篇论文提出 VPC，用一组固定的等角原型把 ID 类别和 OOD 样本分别拉到两个预定义子空间，再用两个子空间上的 L2 激活强度差做 OOD 分数，在 CIFAR 和 ImageNet-1k 的 OE 训练场景中稳定降低 FPR95。 PIRN 面向 RGB 图像与 3D surface normal 的少样本多模态工业异常检测，用自适应原型码本重建每个模态的正常特征，再通过跨模态正常性通信互补纹理和几何线索，在 MVTec 3D-AD、Eyecandies 和 Real-IAD D3 上取得更强的检测与定位表现。 把人体动作当作"第二种模态"，用连续 VAE 隐空间替代离散 VQ token、用对称的动作分支 + 共享注意力替代单流骨干，再配一个挂在自回归 backbone 上的轻量扩散头，让一个统一模型同时做文本→动作生成和动作→文本理解，并且训练收敛快 2–4×。 针对"主动交互式数字人"这一新兴方向缺乏公开数据的痛点，本文构建了 SpeakerVid-5M——首个面向音视频双人（dyadic）交互数字人生成的大规模高质量数据集（8743 小时、520 万单人 clip、77 万双人对话对），配套提出一个自回归视频对话 baseline 和 VidChatBench 评测基准。 提出首个面向视频中矛盾/犹豫（A/H）识别的多模态数据集 BAH，包含来自加拿大9省224名参与者的1,118段视频共8.26小时，由行为科学专家标注，并提供了帧级和视频级的基线实验结果。 本文提出"自由形态手物交互（Free-Form HOI）生成"新任务，配套从网络视频自动重建的 in-the-wild 3D 数据集 WildO2，并设计三阶段框架 TOUCH（接触图预测 → 多层级条件扩散 → 物理约束精修），让模型摆脱"稳定抓取"先验，能按细粒度文本指令生成推、戳、转等多样且物理合理的手部姿态。 用 VLM 把高层指令翻译成一种「相对运动动力学 (RMD)」的人-物部件级二部图，自动构造强化学习的目标状态和奖励函数，让物理仿真角色无需动捕数据、无需手工调奖励就能完成对静态/动态/铰接物体的长程交互。 针对描述性多模态情感识别（DMER）评估代价高的痛点，提出 EmoPrefer——首个情感偏好数据集与基准，系统探索 MLLM 是否能替代人工标注者完成情感偏好判断，最佳方案（Qwen2.5-Omni）达到 67.21% 两类 WAF，仍留有提升空间。 Text2Interact 面向文本驱动的双人 3D 交互动作生成，先用 InterCompose 从 LLM 文本和单人动作先验合成高质量交互数据，再用 InterActor 的词级文本条件、双人动作交互注意力和自适应交互损失提升动作真实性、文本对齐和跨分布泛化。 提出TEMU-VTOFF——面向虚拟脱衣(VTOFF)任务的Dual-DiT架构，通过特征提取器+服装生成器分工协作，结合多模态混合注意力(MHA)融合图像/文本/掩码信息消解视觉歧义，并设计DINOv2驱动的服装对齐器保留高频细节，在VITON-HD和Dress Code多品类场景均达到SOTA。 EasyTune 把扩散模型「跑完整条去噪轨迹再算一次奖励梯度」的微调方式，改成 每一步去噪都独立优化一次 ，从而打断了梯度在去噪步之间的递归依赖，让显存从 \(O(T)\) 降到 \(O(1)\) 、优化更密集；再配一个无需人工标注的自精炼偏好学习（SPL）把检索模型改造成动作奖励模型，最终在 HumanML3D 上比 DRaFT-50 的对齐指标（MM-Dist）好 7.7%，显存只占其额外开销的 31.16%，训练提速 7.3×。 Motion-R1 把"分解式思维链（Decomposed CoT）数据引擎"和"RL Binding"两件事拼在一起：前者用 LLM 把一句高层指令拆成有时序/因果关系的子动作链条，喂给 LLM 做冷启动 SFT；后者用 GRPO 把"动作相似度 + 语义相似度 + 格式"直接做成奖励，不再依赖昂贵的人工偏好标注，从而生成既符合语义又流畅真实的 3D 人体动作。 查看全部45篇「人体理解」论文 → 本文提出"空间超感知（spatial supersensing）"这一从被动任务驱动转向主动世界建模的范式：先用 VSI-SUPER 基准证明暴力扩长上下文（包括 Gemini-2.5 和自训的 Cambrian-S）在任意长视频上的空间回忆与计数任务上彻底失效，再用一个自监督的"潜帧预测"头把预测误差（"惊讶"）当作控制信号去驱动记忆管理与事件分割，从而在长视频空间任务上大幅超过强商业基线。 Video-STAR 把开放词表动作识别（OVAR）重新表述成一个「先选工具、再分解子动作」的序贯决策过程：在推理时让多模态大模型按需调用姿态估计、人体检测、在线检索等领域工具补充视觉证据，并把整体动作拆成可区分的子动作原语逐一打分匹配；再配合一个同时奖励准确率、工具效率与子动作相关性的分层奖励，用 GRPO 把模型从「依赖文本先验」训练成「视觉落地推理」，在 HMDB-51、UCF-101、K-400/600、SSv2 五个基准上大幅刷新 SOTA。 FOCUS 把"在严格 token 预算下挑出与问题最相关的视频帧"重新表述为多臂老虎机里的组合纯探索（CPE）问题——把短时片段当成臂、用经验均值加 Bernstein 置信半径自适应分配打分预算，从而在只看不到 2% 帧的情况下显著提升长视频问答精度。 AVoCaDO 基于 Qwen2.5-Omni，通过 107K 高质量时序对齐音视频字幕数据做 SFT，再用面向关键事件、对话和长度的 GRPO 奖励微调，让 7B 音视频字幕模型在多个 audiovisual captioning benchmark 上超过现有开源模型，部分指标还追上或超过 Gemini-2.5 系列。 针对 Video LLM 因视觉 token 太多而低效的问题，PPLLaVA 用「CLIP 算出的提示-视频相关性图」作为动态 3D 卷积核去压缩 token，把视觉序列最多压到原来的 1/18，还能把和用户指令相关的关键画面保留下来，在 7 个视频理解 benchmark 上既提速又涨点。 CaReBench 用 1000 个人工标注、字幕长达 200+ 词且 显式拆成空间/时间两份 的视频，搭起一个能同时考视频细粒度字幕（captioning）和检索（retrieval）的 benchmark，配套两个新指标 ReBias 与 CapST 专门量化 VLM 的时空偏置，并顺手给出一个把字幕和检索统一进单个 MLLM 的两阶段 SFT 基线 CARE。 提出 FlashVID，一个免训练的视频大语言模型推理加速框架，通过树状时空 token 合并（TSTM）联合建模空间和时间冗余，仅保留 10% 的视觉 token 就能保持 LLaVA-OneVision 99.1% 的性能，并能将 Qwen2.5-VL 的输入帧数提升 10 倍。 提出语言引导的开放世界视频异常检测范式LaGoVAD，通过将异常定义建模为随机变量并以自然语言形式输入，结合动态视频合成和对比学习正则化策略，在七个数据集上实现零样本SOTA性能。 本文提出 VideoNSA，将 Native Sparse Attention（NSA）引入视频语言模型，通过压缩、选择和滑动窗口三分支动态门控的混合稀疏注意力机制，在仅使用 3.6% 注意力预算的条件下实现 128K token 的视频理解，在长视频理解、时序推理和空间理解任务上全面超越 token 压缩和无训练稀疏注意力基线。 本文把"从单张图像预测未来运动"这件天然有歧义的事，重铸成对一张 稠密网格点轨迹 的条件生成任务：用一个轨迹 VAE 把整张图的点轨迹压进潜空间，再用整流流匹配（rectified flow）在潜空间里采样多种可能未来，效果在多个仿真/真实场景上既比回归式轨迹预测器更准、又比"先生成 RGB 视频再追踪"的视频大模型更物理可信。 查看全部48篇「视频理解」论文 → VADv2 把端到端驾驶的规划从"回归一条轨迹"改写成"学动作空间上的概率分布"：先用最远轨迹采样把连续动作空间离散成一个 4096 词的规划词表，再用受 NeRF 启发的概率场 + 级联 Transformer 把每个候选动作打成概率，最后从分布里采样一条来控车——仅用相机就在 CARLA Town05 拿到 85.1 的 Driving Score，并在 Bench2Drive、NAVSIM、3DGS 等多个基准上领先。 Apple 使用 Vision Pro 采集了 829 小时的第一人称视频 + 3D 手部关节追踪数据（EgoDex），覆盖 194 种桌面操作任务，并在此数据集上系统评估了模仿学习策略（BC/DDPM/FM + Transformer），为灵巧操作的扩展训练提供了迄今最大规模的数据基础。 ReCogDrive 用「认知 VLM + 扩散规划器」取代「把轨迹当文本生成」的范式：先用分层数据管线把人类驾驶认知灌进 VLM，再把 VLM 的隐状态作为条件喂给扩散规划器输出连续轨迹，最后用一个为扩散策略量身定制的 DiffGRPO 强化学习阶段在 NAVSIM 模拟器里优化安全与舒适，在 NAVSIM（PDMS 90.8）和 Bench2Drive 上双双刷到 SOTA，并比纯文本输出快 3.5×。 DriveVLA-W0 给自动驾驶 VLA 加上"预测未来图像"的世界模型任务，用稠密的视觉自监督信号补上稀疏动作监督留下的"监督赤字"，从而在 70M 帧的海量数据上把数据规模律真正"放大"，让模型越喂越强而不是早早饱和。 RAP 用轻量 3D rasterization 从真实驾驶日志生成可控的反事实视角和恢复场景，再通过特征空间的 Raster-to-Real 对齐把这些合成样本稳定迁移到真实图像规划器上，从而在 NAVSIM、WOD-E2E 和 Bench2Drive 等闭环/长尾基准上显著提升端到端自动驾驶规划鲁棒性。 提出 Astra，一个通用交互式世界模型，通过自回归去噪框架在预训练视频扩散模型上实现动作条件化的长程视频预测，引入 ACT-Adapter（动作注入）、噪声增强历史记忆（缓解视觉惯性）和 Mixture of Action Experts（统一多异构动作模态），在自动驾驶、机器人操控和场景探索等多场景上实现 SOTA 的保真度和动作跟随能力。 把自动驾驶轨迹规划当成"语言建模"来做——先用专家数据自回归预训练一个运动 token 预测器学会"像人一样开"，再用规则化奖励 + 改进版 GRPO（VD-GRPO）做强化学习微调，显式对齐安全/舒适/合规等驾驶原则，在 nuPlan 上尤其在交互式 reactive 设定下取得 SOTA。 ReflectDrive 把二维驾驶空间离散化成动作码本，用预训练扩散语言模型做 VLA 轨迹规划，再叠加一个无需梯度的"反思机制"——通过对不安全 token 做局部搜索得到安全锚点、再用扩散 inpainting 重生成周边轨迹，在 NAVSIM 闭环上把 PDMS 推到 91.1（接近人类 94.8）。 SMART-R1 首次将 R1 风格的强化微调（RFT）引入多智能体交通仿真，提出 Metric-oriented Policy Optimization (MPO) 算法和"SFT-RFT-SFT"迭代训练策略，在 WOSAC 2025 排行榜上以 0.7858 的 Realism Meta 分数取得第一名。 BridgeDrive 提出用扩散桥（diffusion bridge）替代截断扩散来实现锚点引导的自动驾驶轨迹规划，保证前向/反向过程的理论对称性，在 Bench2Drive 闭环评估中成功率达到 74.99%（PDM-Lite）和 89.25%（LEAD），分别超越前 SOTA 7.72% 和 2.45%。 查看全部50篇「自动驾驶」论文 → 🤖 机器人/具身智能 (162) ¶ X-VLA 把每个机器人数据源的硬件与采集差异编码成一组可学习 soft prompt，并配合简洁的 Transformer + flow matching 动作生成框架，在大规模异构机器人数据预训练后实现强跨本体适配。 本文把预训练视频生成大模型 Cosmos-Predict2-2B 当作底座， 不改任何网络结构、只用一阶段微调 ，让它把机器人动作、未来状态、状态价值都"编码成隐空间视频帧"一起去噪生成，从而同时充当策略、世界模型和价值函数；在 LIBERO（98.5%）、RoboCasa（67.1%）和真实双臂 ALOHA 任务上都拿到 SOTA，并能用 best-of-N 规划再提升 12.5 分。 HybridVLA 让同一个 LLM backbone 在同一条 token 序列里同时承担扩散去噪和自回归动作预测两种范式，并用基于置信度的协同集成自适应融合两者，仿真和真机分别比 SOTA 提升 17% 和 19%。 受认知科学双重记忆系统启发，提出MemoryVLA框架，在VLA模型中引入感知-认知记忆库（PCMB），通过记忆检索、门控融合和整合机制捕捉长时序依赖，在SimplerEnv/LIBERO/真实世界150+任务上全面超越CogACT和π₀。 SimpleVLA-RL 把 LLM 领域的 outcome-driven online RL 改造成适合 Vision-Language-Action 模型的闭环机器人训练框架，用交互式轨迹采样、二值成功奖励和探索增强的 GRPO，在 LIBERO、RoboTwin 与真实机器人任务上显著提升数据效率、泛化和长程操作成功率。 把预训练的被动视频扩散模型改造成一个 可控、多视角、长时一致 的机器人世界模型，让通用 VLA 策略能在"想象空间"里闭环 rollout，从而无需真机就能评估策略、并通过合成成功轨迹微调把策略成功率提升 44.7%。 GE 把"多视角视频世界模型 (GE-Base)"和"轻量并行动作解码器 (GE-Act)"统一进一个视频生成框架，让动作分支逐块对齐地直接读取视频 DiT 的多尺度全分辨率潜表征，再配合慢-快异步推理，做到在单张 RTX 4090 上 200ms 内生成 54 步动作轨迹，并能用 1 小时遥操作数据迁移到全新机器人本体。 OneTwoVLA 把机器人里的快动作执行和慢语言推理统一到同一个 VLA 中，让模型在关键时刻用 [BOR] 触发推理、平时用 [BOA] 直接输出动作，从而在长程操作、错误恢复、人机交互和开放视觉 grounding 上明显优于无推理 VLA 与双系统方案。 Spatial Forcing 用预训练 3D 基础模型 VGGT 的几何 latent 来监督 VLA 的中间视觉 token，使机器人策略在推理时不额外输入深度图或点云，也能学到更强的空间理解，并在 LIBERO、RoboTwin 和真实机器人任务上提升成功率、收敛速度和数据效率。 受人类左脑语义理解、右脑空间认知的启发，提出 JanusVLN——首个为 VLN 设计的双隐式神经记忆框架，将空间几何记忆和视觉语义记忆分别建模为固定大小的 KV Cache，仅凭 RGB 视频即可实现高效空间推理，在 VLN-CE 基准上取得 SOTA。 查看全部162篇「机器人/具身智能」论文 → ReTool 用一套"冷启动 SFT + 工具增强 RL"的训练框架，让 LLM 在长链推理中自主学会"何时、如何调用代码解释器"，仅用结果对错作奖励，把 32B 模型在 AIME2024 上做到 67.0%，大幅超过纯文本 RL 基线（40.0%）且训练步数只用了它的三分之一。 本文提出 Rubrics as Rewards (RaR) ，把"逐条打勾的评分细则（rubric）"当作 on-policy 强化学习的奖励函数，从而把只能用于数学/代码这类"答案可验证"任务的 RLVR 扩展到医学、科学这类没有唯一标准答案的真实推理领域；在 HealthBench 上相对流行的 LLM-as-judge Likert 基线最高提升 31%，在 GPQA-Diamond 上提升 7%。 针对"RLVR 到底是真提升了推理能力、还是只提高了采样效率"这场争论，本文提出新指标 CoT-Pass@K（要求答案对且推理过程也对），并用一个 GRPO 的理论框架证明：只要预训练模型具备"对的 CoT 更容易导出对答案"这一逻辑先验，仅靠答案正确性的奖励就会 隐式地 把生成正确推理的概率推上去，从而把基座模型的推理边界真正向外扩展。 R-Zero 从一个基座模型同时初始化「出题者 Challenger」和「解题者 Solver」两个角色，让前者被奖励去生成卡在 Solver 能力边缘（正确率约 50%）的难题、后者被奖励去攻克这些题，二者用 GRPO 交替训练、协同进化，全程不需要任何人工题目和标签，就把 Qwen3-4B-Base 的数学推理平均分提升 +6.49、通用推理 +7.54。 本文发现新任务分布上的基模型与微调模型 KL 散度能预测灾难性遗忘，并解释了为什么 on-policy RL 相比 SFT 更倾向于找到离原策略更近的高奖励解，从而在学会新任务时忘得更少。 通过"脚手架式数据合成 + 编译器反馈驱动的自我纠错 + 模型平均"三件套，把开源 Lean 定理证明器做到新 SOTA：8B 模型超过 671B 的 DeepSeek-Prover-V2，32B 模型在 MiniF2F 上 pass@32 达 90.4%，参数量小 20 倍而算力预算大幅更低。 将奖励建模重新定义为推理任务，提出RM-R1系列推理奖励模型（ReasRM），通过推理蒸馏+RL训练以及Chain-of-Rubrics（CoR）机制，在三大奖励模型基准上平均超越70B和GPT-4o模型达4.9%。 从RL策略梯度视角数学证明SFT梯度隐式编码了逆概率加权(1/π_θ)的病态奖励结构→低概率token梯度过大导致泛化受限，提出DFT(Dynamic Fine-Tuning)仅需一行代码修改(CE loss乘token概率： \(-p\log p\) )消除逆概率加权→在数学推理/代码生成/多模态任务上大幅超越SFT，离线RL设定下甚至超越GRPO/PPO。 这篇论文提出 RLCR（Reinforcement Learning with Calibration Rewards），在标准的"二元正确性奖励"上叠加一个 Brier 分数项，让推理模型在给出答案的同时输出一个 校准过的置信度 ，在几乎不损失准确率的前提下把期望校准误差从 0.37 降到 0.03（HotpotQA），并在分布外任务上反转了普通 RL"越训越自信、越训越乱"的退化趋势。 把 GRPO 优化 token 级奖励"算术平均"换成"几何平均"，靠几何平均对离群值天然不敏感的特性压住极端重要性采样比，从而在不损失探索能力的前提下让策略更新更稳，数学推理上 Pass@1 比 GRPO 最高提升 4.1%。 查看全部400篇「强化学习」论文 → 针对 LLM 推荐中显式思维链（CoT）既难拿到监督数据、推理又慢的痛点，本文提出 LatentR3：在 LLM 顶层加一个注意力层把推理压进 连续潜在空间 （只需 1 个潜在 token），再用一套改造过的 GRPO（PPL 连续奖励 + batch 级优势）在完全没有 CoT 监督的情况下端到端学会推理，套在 BIGRec / D3 上分别带来 17.0% / 8.4% 的相对提升。 构建 Search Arena——首个大规模搜索增强 LLM 人类偏好数据集（24069 对话 + 12652 偏好投票，71 种语言），发现用户偏好受引用数量影响（即使引用不支持声明），社区驱动平台比 Wikipedia 更受偏好，搜索增强不降低通用聊天性能但通用 LLM 在搜索场景显著退化。 VISTA 把候选物品对超长用户历史的 target attention 拆成「先把上百万长度的历史压成几百个摘要 token 并缓存」+「下游只对缓存 token 做轻量注意力」两阶段，让训练/推理成本固定，已在 Meta 服务数十亿用户的推荐平台上线。 本文提出 ConvRec-R1 两阶段框架训练 LLM 对话推荐系统：先用 Remap–Reflect–Adjust 蒸馏管线从黑盒教师造出「落在目标 catalog 内」的高质量演示做 SFT 预热，再用 Rank-GRPO（把推荐列表中的「每个 rank」当作动作单元的 GRPO 改造）做 RL 对齐，让 0.5B–3B 的小模型在 REDDIT-V2 上的 Recall/NDCG 收敛更快、并能追平甚至超过 GPT-4o。 提出ProPerSim模拟框架，构建基于大五人格的32种用户persona在Smallville家庭环境中的日常行为模拟，AI助手通过每2.5分钟的主动推荐决策和DPO偏好学习，在14天模拟中将用户满意度从2.2/4提升至3.3/4，首次验证了主动性+个性化统一的可行性。 PESO 把基于 LLM 的生成式推荐的持续学习从"堆叠多个冻结适配器"改成"单个不断演化的 LoRA + 一个近端正则项"，让适配器每次更新都被轻轻锚向上一阶段的状态，从而在保留长期偏好与吸收新偏好之间自动找平衡，在三个真实数据集上稳定超过累积式 LoRA 和单纯演化的 LoRA。 针对"把 item-ID 塞进 LLM 会让协同信号和语言语义互相打架"这个问题，本文提出 IDIOMoE：把预训练 LLM 每个 block 的 FFN 拆成一个 文本专家 和一个 item 专家 ，用静态的 token-type 门控按 token 类型分流（item-id token 走 item 专家，其余走文本专家），从而把"协同过滤"和"语义理解"解耦到不同子网络里，在公开和工业级数据集上都取得最强推荐效果，同时几乎不损伤原 LLM 的语言能力。 RPM 把黑盒 LLM 的个性化从"对齐最终回答"升级为"对齐底层推理过程"：它从原始用户历史里自动抽取「特征→因子→统计量」的结构化用户模型，为每条历史构造个性化推理路径，再用基于特征的检索把这些推理示例喂给模型，让 LLM 沿着用户自己的逻辑来推理，在四类任务上一致超过现有的回答级个性化方法且更可解释。 本文用 Rademacher 复杂度从理论上解释了 CTR/CVR 模型「训练超过一个 epoch 就严重过拟合」的根因——embedding 层范数无约束增长撑大了泛化界，并据此提出按特征出现频率自适应分配范数预算的正则方法 AdamAR：高频特征轻正则、低频特征重正则，既消除多 epoch 过拟合又能提升单 epoch 性能，已在阿里搜索广告线上部署。 理论证明任意 Multi-Generator-Evaluator 排序系统都存在一个更大的 generator-only 模型以更小的误差逼近最优策略且满足 scaling law，据此提出 GoalRank——用 reward model 构建 group-relative 参考策略来训练大型 generator-only 排序模型，在线 A/B 测试中显著优于 SOTA。 查看全部24篇「推荐系统」论文 → 🔄 自监督/表示学习 (81) ¶ 提出 PonderLM，在预训练阶段引入"沉思"机制——将预测概率分布加权求和为连续嵌入后反复前向传播，无需标注数据或强化学习，使 2.8B 模型在 9 个下游任务上超越 6.9B 模型。 HiMAE 把掩码自编码塞进一个 U-Net 式层次化 1D CNN，让中间各层天然对应不同时间分辨率的嵌入，从而把"分辨率"从一个超参变成可探针的诊断工具，同时模型小到能在智能手表 CPU 上做亚毫秒推理。 从理论上证明 InfoNCE 损失函数在两种互补机制下会诱导表征趋向高斯分布：经验理想化路线（对齐+球面均匀性→高斯）和正则化路线（消失正则项→各向同性高斯），并在合成数据和 CIFAR-10 上验证。 受果蝇嗅觉回路启发，提出 Fly-CL 框架，通过稀疏随机投影+top-k操作+流式岭分类三阶段渐进去相关，在预训练模型持续学习中大幅降低训练时间的同时达到SOTA水平。 针对目标条件行为克隆（GCBC）无法"拼接"novel 状态-目标对的组合泛化缺陷，本文提出 BYOL-γ：一个用几何分布采样未来状态、从而逼近后继度量（successor measure）的自预测表示学习目标，作为 BC 的辅助损失既不需要 TD 学习也不需要负样本，在 OGBench 拼接任务上平均成功率超过所有对比方法。 CSRv2 用「渐进 k 退火 + 稀疏监督对比 + 全骨干微调」三招把对比稀疏表示（CSR）推进到 \(k\le 4\) 的超稀疏区间——死神经元从 80% 降到 20%， \(k=2\) 时精度涨 14%，让"只激活 2 个维度"的嵌入达到 CSR 在 \(k=8\) 、MRL 在 32 维时的水平，相对稠密嵌入拿到最高 300× 的算力/内存效率。 本文提出双向预测编码（bPC），用一个能量函数同时容纳「自上而下生成」和「自下而上判别」两种推断，让同一套生物可实现的局部电路既能像 discPC 那样准确分类、又能像 genPC 那样生成与重建，并在跨模态联想、遮挡补全等类脑任务上超过现有的单向 / 混合 PC 模型。 NEO 发现输入分布偏移会让倒数第二层 embedding 整体产生一个跨样本/跨类别共享的平移，于是只用一个全局质心向量把测试特征重新居中到原点，就能在 零优化、零超参、几乎零额外开销 下超过 7 个主流 TTA 方法。 提出 Regularized Latent Dynamics Prediction (RLDP)，通过在自监督的潜空间下一状态预测目标上添加简单的正交正则化来维持特征多样性，在零样本 RL 中匹配甚至超越复杂的 SOTA 表示学习方法，特别是在低覆盖率场景下优势显著。 SplitLoRA 把"次梯度子空间该取多大"这个持续学习里的老大难问题，从拍脑袋的阈值变成一个可解的优化问题：它先理论推出"稳定性损失 + 可塑性损失"随子空间维度 \(k\) 变化的上界，再对每个 LoRA 模块单独求最优 \(k^*\) ，最后把 LoRA 的降维矩阵 \(A\) 固定到这个次子空间里、只训练 \(B\) ，在 ImageNet-R / CIFAR-100 / DomainNet 上比现有方法高 2%–5%。 查看全部81篇「自监督/表示学习」论文 → 📐 优化/理论 (220) ¶ Polar Express 把 Muon 中的极分解近似从启发式 Newton-Schulz 系数搜索，改成每轮求解最坏误差最优的奇多项式组合，在保持纯矩阵乘法和 bfloat16 友好的前提下，让 GPT-2 训练中的 Muon 更新方向更快、更稳地逼近有效的极因子。 在统一公平的超参数调优和端到端评测协议下系统对比 11 个深度学习优化器，揭示新优化器宣称的 1.4–2× 加速大多源于"弱基线"，真实加速不超过 1.4× 且随模型规模增大衰减到 1.1×；同时确认矩阵类优化器（Muon/Soap/Kron）确实优于标量类。 这篇论文提出 MIRAS，把 Transformer、linear RNN、TTT/Titans 等序列模块统一解释为“测试时在线优化的关联记忆”，并用 attentional bias 与 retention 两个设计轴扩展出 MONETA、YAAD、MEMORA 三个 attention-free 模型，在语言建模、常识推理和长上下文 needle recall 上超过多种现代 recurrent baseline。 给任意动量优化器加一行代码：只在「更新方向」与「当前梯度」符号一致的坐标上更新，否则把这些坐标的更新清零并按比例放大补偿，由此得到 C-AdamW / C-Lion 等"谨慎版"，在不动原超参的前提下持续加速 LLM 预训练和图像分类。 CALM 让"生成启发式的提示词进化"和"底层 LLM 本身"同时进化——在 LLM 驱动的进化式启发式设计循环里，把每轮"提示-响应-性能"三元组当作强化学习数据，用 GRPO 在线微调一个本地 7B INT4 模型，使得单张 24GB 显卡跑出来的启发式在多个组合优化任务上超过依赖 GPT-4o-mini API 的 SOTA 方法。 本文从"联想记忆"视角揭示 Muon 比 Adam 快的机制：Muon 的更新规则把梯度奇异值归一化，正好匹配联想记忆的外积叠加结构，因而能在重尾数据上对低频"尾部"知识做更均衡的学习。 MuonBP 在张量并行下让每张卡只对本地分片做正交化、每隔 P 步才做一次全局正交化，并用「块步」「全步」两个不同学习率，把 Muon 因正交化跨卡通信带来的吞吐损失抹平——8B 模型上比 Muon 提速约 8% 且效果不降反升。 首次为实际使用的 Muon 优化器（使用 Newton-Schulz 近似而非精确 SVD 极坐标分解）提供非凸收敛保证：证明收敛速率匹配 SVD 理想化版本（差一个常数因子），该因子随 Newton-Schulz 步数 \(q\) 双指数衰减，且 Muon 比向量对应物 SGD-M 少 \(\sqrt{r}\) 倍秩损失。 HeuriGym 把 LLM 丢进一个"读题—写代码—执行反馈—迭代修正"的 agentic 闭环里，让它从零为 9 个真实组合优化问题（EDA、生物、物流等）手写完整启发式算法，并用新指标 QYI 衡量解的质量与可行率——结果连最强的 GPT-o4-mini-high 和 Gemini-2.5-Pro 也只有 0.6 分（专家为 1.0），暴露出 LLM 在工具使用、长程规划和自适应推理上的硬伤。 作者把 μP/CompleteP 这套"小模型调参、大模型直接迁移"的缩放规则补全到四条最关键的训练轴——宽度、深度、批量、训练时长——并进一步证明：在正确的参数化下，连"逐模块"（每种张量、每层各自一组学习率/权重衰减/Adam 参数）的细粒度超参也能从 5000 万参数的小模型直接迁移到 72 亿参数的大模型，带来约 1.3× 的训练加速。 查看全部220篇「优化/理论」论文 → 这篇论文从理论上回答了"预训练到底给后训练（RL / 测试时扩展）留下了什么"——答案不是交叉熵，而是一个叫 coverage profile（覆盖度剖面） 的量；作者证明 next-token prediction 会 隐式地 优化覆盖度，而且覆盖度比交叉熵泛化得更快、不受序列长度拖累，从而解释了"为什么交叉熵更低的模型反而 Best-of-N 更差"这一反常现象。 这篇论文用一个可解析的简化注意力模型证明：随着上下文长度 \(n\) 增大，注意力的行为会按缩放因子 \(\beta_n=\gamma\log n\) 发生 相变 ，临界点恰好在 \(\beta_n\asymp\log n\) （即 \(\gamma_c=\tfrac{1}{1-\rho}\) ），从而第一次为 YaRN、Qwen 等方法采用对数缩放给出了严格的理论依据。 这篇论文把两层神经网络（对角网络、二次网络）在带权重衰减训练下的经验风险最小化问题， 精确映射 到 LASSO 和低秩矩阵压缩感知，从而首次在"真正发生特征学习"的设定下解析地刻画出超额风险的完整相图（8 个相、含良性/有害过拟合与插值峰），并进一步把每个标度律相位与训练后权重谱（bulk / spike / 重尾）一一对应，从第一性原理解释了"重尾权重谱 ↔ 更好泛化"这一经验观察。 本文把语言建模的总损失拆成"随上下文变长而下降的贝叶斯风险"与"随上下文变长而上升的近似损失"两项，并引入 Intrinsic Entropy（内在熵） 把贝叶斯风险与上下文长度严格联系起来，从而解释了"更长上下文不一定更好"这一反直觉现象，并推导出存在一个由训练数据量决定的 最优上下文长度 。 本文从「统计估计」和「网络逼近」两个互补视角证明：扩散模型里的记忆化（reproduce 训练样本而非泛化生成）根本上来源于真实分数函数与经验分数函数之间的两道可证明的「分离」——真实分数并不最小化去噪分数匹配损失，且经验分数需要随样本数增长的网络才能逼近——并据此给出一个面向 DiT 的剪枝缓解方法。 本文借助统计物理里的随机能量模型（REM），给出深层 Transformer 在初始化时信号传播的渐近精确理论，把"秩坍缩"与"熵坍缩"两种失效统一为由 query/key 初始化方差 \(\beta\) 控制的同一个相变，并据此导出一套算法来画"可训练性图"，直接告诉实践者残差强度和初始权重该怎么取才能让深层模型训得动。 本文把推理时对齐里最常用的 Best-of-N（BoN）放进"软化"框架 Soft Best-of-N（SBoN）来分析，给出 SBoN/BoN 相对参考策略的 KL 散度上界、相对最优策略的遗憾（regret）上下界，并证明：当代理奖励模型质量差、发生过优化时，存在一个有限的逆温度 \(\beta\) 使 SBoN 的遗憾界比 BoN 更紧，从而缓解 reward hacking。 这是一篇立场+理论论文：作者用计算复杂度（TC 电路类）把机器学习问题切成"能高效并行的"与"本质串行的"两类，论证推理、决策、物理模拟等关键任务属于后者，并首次证明扩散模型即便采样上千步、其计算深度仍是常数，从而无法解决本质串行问题——因此只堆并行算力（更宽的网络、更多 GPU）注定到顶，进步必须靠扩展 串行 计算。 本文发现 LLM 的损失景观随模型规模增大而呈现出一片片"盆地（basin）"——盆地内任意扰动参数性能几乎不变、出了盆地能力骤崩；据此用随机平滑（randomized smoothing）证明任意微调/越狱造成的能力退化都被盆地半径所界定，并提出 GO 优化器主动把盆地撑大来缓解灾难性遗忘。 本文首次给出 Jarzynski 等式（JE）和退火重要性采样（AIS）估计归一化常数 \(Z\) 的 非渐近 oracle 复杂度 界，用「曲线的 action」替代等周不等式刻画难度，并指出几何插值在多峰分布上 action 指数大、进而提出基于反向扩散采样的新算法。 查看全部294篇「学习理论」论文 → NextQuill 把 LLM 个性化重新看作一个因果问题——模型预测和用户真实回复都是「用户历史/特征 × 上下文」共同作用的结果，用因果效应（do-calculus）把其中真正由偏好驱动的部分分离出来，并设计两个对齐损失只学这部分，从而做出比无差别对齐更深的个性化。 CausalFM 把"表格基础模型"PFN 搬到因果推断：用结构因果模型（SCM）造合成先验、在合成数据上预训练一个 Transformer，使其能在不重训的情况下，通过 in-context learning 对后门 / 前门 / 工具变量三类设定直接给出贝叶斯式的 CATE 估计。 系统研究偏好模型对五种表面特征（冗长、结构化、术语、谄媚、模糊）的过度依赖——通过因果反事实对量化偏差来源于训练数据的分布不平衡，并提出基于 反事实数据增强 (CDA) 的后训练方法，将模型与人类判断的平均失校准率从 39.4% 降至 32.5%。 提出 Knowledgeable-R1，一个基于强化学习的框架，通过联合采样参数知识（PK）和上下文知识（CK）的轨迹，结合局部/全局优势计算和自适应不对称优势变换，使 LLM 在 RAG 场景中能够抵抗误导性检索上下文的干扰，同时保留对可靠上下文的利用能力。 本文指出大规模多模态数据并不服从单一有向无环图（DAG）的生成假设，提出一个用"无向边连接两组潜在耦合变量"的潜在偏因果模型，并在球面和凸体两种潜在空间上证明：CLIP 这类多模态对比学习（MMCL）学到的表示与真实潜变量分别相差一个线性正交变换 / 置换变换，从而第一次给出 MMCL 的"逐分量解耦"理论保证，并把它落到 FastICA / PCA+FastICA 这种即插即用的解耦流程上，在少样本学习和域泛化上拿到提升。 提出 IGC-Net ：第一个用纯回归式迭代 G-computation 端到端估计时序条件平均潜在结果(CAPO)的神经网络，既正确校正时变混杂、又绕开逆倾向权重的除零不稳定和 G-Net 对全分布的高维估计。 提出基于结构因果模型（SCM）的分解式评估框架，将 LLM 的反事实推理拆分为四个阶段（因果变量识别→因果图构建→干预识别→结果推理），在 11 个多模态数据集上系统诊断 LLM 在各阶段的能力瓶颈，并提出工具增强和高级 elicitation 策略来改善性能。 本文提出 WO-learner（overlap-weighted orthogonal meta-learner），通过在训练样本上加一个"重叠权重"把估计聚焦到那些真正有可能接受目标干预序列的样本，并配套一个 Neyman 正交的加权总体风险函数，从而在时序处理效应估计中"重叠概率随预测步长指数衰减"的低重叠场景下保持稳定，在合成、半合成与真实数据上全面超越现有元学习器。 本文为"存在未观测混淆"的个性化离线策略学习推导了价值函数锐界的 闭式表达 + 半参数有效估计量 ，把原本不稳定的 minimax 优化化简为一次普通最小化，并证明最小化该估计量即可得到最优的混淆鲁棒策略。 提出 E-CIT（集成条件独立性检验）框架，通过将数据分割为子集后独立执行检验并基于 稳定分布 的 p 值聚合方法合并结果，将任意条件独立性检验的计算复杂度降至关于样本量线性，同时在重尾噪声和真实数据等复杂场景下保持甚至提升检验功效。 查看全部63篇「因果推理」论文 → 提出 GEPA（Genetic-Pareto）提示优化器，通过自然语言反思从少量执行轨迹中诊断问题并迭代优化提示，在六个任务上平均超越 GRPO 6%（最高20%），同时仅使用 1/35 的采样量。 这是一篇分析型论文：作者用匈牙利算法对齐「只有初始化随机种子不同、看到的数据完全相同」的多个稀疏自编码器（SAE），发现它们学到的特征只有一部分重叠（Llama 3 8B 上仅 30%），且越大的模型/SAE 重叠越低、TopK 比 ReLU 更不稳定，从而论证 SAE 找到的特征是「一种实用的激活空间分解」而非模型「真正使用的、唯一客观的特征清单」。 作者用稀疏自编码器对微调前后的 GPT-4o 做「模型差分」，发现一组「失调 persona」特征（尤其是一个 #10「毒性人格」特征）才是「在窄域错误数据上微调 → 广域失调」这一涌现失调现象的内部主因，并据此实现失调的预测、引导抑制与少量良性数据「再对齐」。 本文证明 LLM 中两个看似独立的谜题——注意力沉降（attention sinks）与压缩谷（compression valleys）——其实是 残差流里海量激活（massive activations）这同一机制的两个侧面 ，并据此提出 Mix-Compress-Refine 三阶段信息流理论，统一解释了为什么 embedding 任务在中层最强、生成任务却要走满全深度。 本文把"读懂模型激活"重塑成一个开放式问答任务 LatentQA——给定激活和一个自然语言问题，让一个微调过的 decoder LLM 直接用自然语言作答；这既能"看懂"激活（监控），又能用自然语言描述的损失反传梯度来"改写"激活（引导）。 这篇论文系统分析 VLM 在 VQA 中“看见证据却答错”的现象，发现深层 attention 往往已经定位到正确视觉证据但生成阶段没有充分使用，并据此提出无需训练的 VEA 推理时视觉证据高亮方法，在 LLaVA、Qwen、Gemma、InternVL 等多类模型和多个证据型 VQA 任务上稳定提升准确率。 用信息瓶颈/率失真框架把 40+ 个 LLM 的 embedding 和人类经典分类学认知数据放在同一把"压缩↔语义"的尺子下度量，发现 LLM 比人类更"信息论最优"地激进压缩，却以牺牲细粒度语义（典型性结构）为代价——人类那种看似"低效"的概念组织反而是适应性灵活性的来源。 本文从数学上证明了 decoder-only Transformer 语言模型几乎必然是 单射 （不同提示词产生不同的末位 token 表征），并据此提出 SIPIT 算法，能在线性时间内从隐藏状态 精确 重建输入文本。 本文用因果中介与因果抽象方法，逆向工程出大模型追踪角色信念（Theory of Mind）时所依赖的一套通用算法——"lookback 机制"：模型把同一份参考信息复制成"指针"与"地址"两份分置不同 token，靠 QK 注意力回看取出后面要用的"载荷"，由此实现角色—物体—状态的绑定、信念检索与可见性更新。 这篇论文给当下火热的稀疏自编码器（SAE）做了一次"理智检查"：把 SAE 同时套到训练好的 Transformer 和 随机初始化 的 Transformer 上，发现常用的自动可解释性分数（auto-interp AUROC）和重建指标在两者之间几乎区分不开，说明高可解释性分数本身 不能 证明 SAE 抓到了模型真正学到的计算特征。 查看全部195篇「可解释性」论文 → 提出 LightMem，一个受人类 Atkinson-Shiffrin 记忆模型启发的三阶段轻量记忆系统，通过认知感觉记忆预压缩、主题感知短期记忆整合、睡眠时离线更新三个模块，在 LongMemEval 上准确率提升最高7.7%，同时 token 消耗降低高达38倍。 TurboQuant 是一个 data-oblivious（无需数据校准、可在线即时使用）的向量量化算法：先随机旋转把任意输入向量的坐标"洗"成近独立的 Beta 分布，再对每个坐标套用预先解出的 Max-Lloyd 最优标量量化器，从而在所有码率/维度下都把 MSE 失真压到信息论下界的常数倍（≈2.7）以内；针对内积估计的偏差，再叠一层 1-bit QJL 处理残差得到无偏估计，在 KV cache 压缩与 ANN 检索上都超过现有 product quantization。 作者发现扩散 Transformer 的注意力权重可以拆成"少量高秩 + 大量极低秩"两部分，于是提出 SLA——对关键块用精确稀疏注意力、对边缘块用线性注意力、对可忽略块直接跳过，三者融进同一个 GPU kernel，只需几千步微调就把注意力计算量砍掉约 95%、端到端视频生成提速 2.2×，且画质几乎无损。 本文从理论上证明「合并专家」会因丢失路由器对专家的独立、输入相关调制能力而引入不可消除的误差，进而提出 REAP——一种同时考虑路由器门控值和专家激活范数的一次性剪枝准则，在 20B 到 1T 的多种 SMoE 上、尤其在生成式任务和 50% 压缩率下显著优于合并与其他剪枝方法，对 Qwen3-Coder-480B、Kimi-K2 在代码生成上做到接近无损。 这篇论文第一次系统地拆穿了硬件原生 4-bit 浮点格式 MXFP4/NVFP4 "免费提速又保精度" 的承诺，从量化误差理论证明了为什么现有量化技巧在这两种格式上失灵，并提出针对 FP4 特性定制的 MR-GPTQ 算法 + QuTLASS GPU 内核，在 B200/RTX5090 上拿到 2.2x~4x 端到端加速的同时把 MXFP4 精度从掉 10% 拉回到接近 NVFP4 的水平。 DiCache 提出一种训练无关的扩散模型自适应缓存策略，让 DiT 在推理时用浅层在线探针自己判断何时复用缓存、如何组合历史缓存，在 WAN 2.1、HunyuanVideo 和 Flux 上同时提升速度与生成结果相对原始模型的保真度。 这篇论文花了数千 GPU 小时把 LLM 层剪枝的"层选择指标"和"剪枝后微调方法"系统地重新测了一遍，得出两个反直觉结论——最朴素的"逆序剪掉最后几层"胜过一众复杂指标、用"只微调 lm head + 最后三层"的部分层微调胜过被奉为标配的 LoRA，并用 Pre-LN 梯度流理论解释了为什么，最终在 Llama-3.1-8B/Llama-3-8B/Llama-3-70B 上超过现有 SOTA 剪枝方法 2.36%–19.45%。 提出 Landscape of Thoughts (LoT)，首个将LLM推理轨迹可视化为二维地形图的工具，通过困惑度特征和t-SNE投影揭示推理行为模式，并可适配为轻量验证器提升推理准确率和测试时扩展效果。 OBS-Diff 把经典的 Optimal Brain Surgeon（OBS）剪枝复活并改造到大规模文生图扩散模型上，通过「时间步感知 Hessian」让剪枝准则对去噪早期步骤更敏感、用「模块包（Module Packages）」把昂贵的逐层标定摊薄，在完全免训练、免微调的前提下支持非结构化 / N:M 半结构化 / 结构化三种粒度，并在 50%–70% 这类高稀疏度下大幅领先 Wanda、DSnoT 等基线。 提出 SteerMoE，通过对比配对输入检测行为关联专家，在推理时通过激活/去激活特定专家来引导 MoE LLM 的行为（安全性提升 +20%，忠实性提升 +27%），同时揭示 MoE 模型的安全对齐脆弱性（安全下降 -100%）。 查看全部239篇「模型压缩」论文 → 提出 RelGT，首个专为关系型数据库设计的图 Transformer，通过多元素 Token 化（特征/类型/跳距/时间/局部结构 5 元组）和局部-全局混合注意力机制，在 RelBench 基准的 21 个任务上一致超越 GNN 基线，最高提升 18%。 提出 RAS 框架，在推理时为每个问题动态构建查询特定的知识图谱，通过迭代检索规划、文本到三元组转换和图增强回答三个阶段实现结构化推理，在 7 个知识密集型基准上对开源和闭源 LLM 分别取得最高 7.0% 和 8.7% 的提升。 本文用四座真实城市的道路网络构建了一个百万级节点、直径上百的大图转导式数据集 City-Networks，并用「局部偏心率」标注出天然需要远距离信息的节点分类任务；在此基础上提出一个基于 Jacobian 的「逐跳影响力」度量，可以直接量化任意 GNN/GT 究竟用到了多远的邻居信息，从而把过去靠「全局注意力 vs 局部聚合」性能差来间接论证长程依赖的做法，换成可测、可比、有理论支撑的方案。 本文提出 CtrlHGen，把知识图谱上的溯因推理（从观测实体反推合理逻辑假设）升级成"可控"任务——让用户能指定假设的语义方向和结构复杂度；通过子逻辑分解的数据增强缓解"长假设样本稀缺"、用 Dice/Overlap 平滑的语义奖励加上条件遵循奖励缓解"奖励过敏"，在三个 KG 数据集上既更服从控制信号、语义相似度也优于 baseline。 提出在有向图上定义 cellular sheaf 的 in/out-degree Laplacian，构建 Cooperative Sheaf Neural Network (CSNN)，使节点能独立选择信息传播/接收策略，从而同时缓解过度挤压(oversquashing)和处理异配(heterophilic)任务。 把表格领域的 Prior-Fitted Network（PFN）范式搬到图上，只在数千张由可控先验生成的合成图上预训练一个模型 NodePFN，就能对任意真实图做免训练、单次前向的通用节点分类，在 23 个 benchmark 上拿到 71.27% 平均准确率。 DHG-Bench 是首个面向超图神经网络（HNN）的综合性基准，在统一实验协议下从 有效性、效率、鲁棒性、公平性 四个维度系统评测了 17 个 SOTA HNN 算法 × 22 个数据集（覆盖节点/超边/超图三种粒度任务），用大量对照实验揭示了现有 HNN「换数据换任务就崩」「大图跑不动」「特征/标签噪声扛不住」「比 MLP 更不公平」等系统性短板。 HYPER 是首个面向知识超图的链接预测基础模型，通过把"关系之间的位置交互"编码成可迁移的基础关系，让模型零样本泛化到含全新实体、全新关系、且元数（arity）任意的超图。 针对现有图生成扩散/流模型「把节点和边拆开各自线性插值」导致概率路径不平滑、训练采样都难收敛的问题，本文用马尔可夫随机场（MRF）把图建模成一个相互耦合的彩色高斯系统，再用图分布之间的最优传输（Bures-Wasserstein）位移构造出一条平滑、闭式、仿真无关的概率路径，得到流匹配框架 BWFlow，在平面图与分子生成上取得更好性能、更快收敛和更高效采样。 DAMR 把 KGQA 建成一棵由 LLM 规划器引导扩展的蒙特卡洛树搜索：LLM 只在扩展步选 top-k 相关关系把搜索空间剪小，路径打分交给一个轻量 Transformer 评分器（交叉注意力联合编码问题与关系序列），并用搜索过程中产生的伪路径在线微调这个评分器；最终在 WebQSP（Hits@1 94.0）和 CWQ（78.0）上超越所有 SOTA，同时把 LLM 调用次数和 token 消耗分别砍掉 50%+ 与 75%+。 查看全部118篇「图学习」论文 → 发现时间序列配对文本具有与时间序列相似的周期性（Chronological Textual Resonance），提出 TaTS 框架将文本表征转化为辅助变量，以即插即用方式增强任意现有时间序列模型的预测和插补性能。 提出 Relational Transformer (RT) 架构，通过 task table prompting、cell tokenization 和 Relational Attention 机制，在多个关系数据库上预训练后可零样本迁移到未见过的数据集和任务，22M 参数模型零样本 AUROC 达到全监督方法的 93%，远超 27B LLM 的 84%。 TimeOmni-1 提出了首个统一的时间序列推理模型，通过 TSR-Suite（首个推理导向的时序数据集套件）和两阶段训练（SFT注入时序先验 + RL精炼推理），在多项时间序列推理任务上显著超越 GPT-4.1。 Aurora 是第一个 多模态时间序列基础模型 ：在「时间序列 + 文本描述 + 内生图像」三模态的跨域语料上预训练，用模态引导注意力把文本/图像里的领域知识注入时序建模，再用「原型引导的流匹配」做生成式概率预测，从而在零样本/少样本的跨域场景下同时拿下确定性和概率性预测 SOTA。 针对时序预测中 MSE 损失在标签序列存在自相关时会产生"自相关偏差"的根本问题，DistDF 不再去估计条件似然，而是把预测序列和标签序列的 条件分布 直接对齐——用可证明上界的"联合分布 Wasserstein 距离"作为代理目标，配合 Gaussian 假设下的 Bures–Wasserstein 闭式解，作为即插即用的正则项叠加在 MSE 上，在多个数据集和多个骨干模型上稳定刷出最优。 针对时间序列预测里"用历史的统计规律去硬套未来分布"导致的分布失配，本文提出 TimeAlign——一个即插即用的双分支框架，用一个只在训练时存在的"重建未来"分支提供对齐的目标分布，再通过全局+局部对齐把预测分支的表示拉向未来真实分布，在 8 个基准上把 MSE/MAE 相对次优方法降低 3.27%/5.20%。 Uni-NTFM 从神经科学第一性原理出发，设计异质特征投影（HFPM）解耦时频编码、分层拓扑嵌入（TE）统一异构电极配置、MoE Transformer 实现功能模块化与稀疏编码，在 28000 小时 EEG 数据上预训练 1.9B 参数模型，9 个下游任务上的线性探测和微调均达到 SOTA。 作者提出一个极简基线 "context parroting"（上下文复读）——直接在历史轨迹里找一段最相似的片段、把它后面的演化复制过来当预测——结果在低维混沌、湍流、耦合振子、心电图等一大批动力系统的零样本预测上，它的精度和长期吸引子重建都 胜过 Chronos / TimesFM / Time-MoE / Moirai / DynaMix 等领先时序基础模型，且推理成本低六个数量级 ，从而暴露出当前基础模型并没有真正"学会物理"。 针对多步时序预测里 MSE 把每个未来步当成独立、等权任务的缺陷，本文从最大似然推出一个由条件协方差逆矩阵加权的「二次型学习目标」，并用一套双层优化（QDF）把这个加权矩阵当作可学习参数、面向泛化在留出集上学出来，作为即插即用的损失替换 MSE，在 8 个数据集、多种预测模型上稳定刷到 SOTA。 MixLinear 用「时域分段提取局部趋势 + 频域自适应低秩滤波提取全局趋势」的双通道线性架构，把长期时序预测模型压到仅 0.1K（45–176）个参数 ，在 8 个基准上做到与主流轻量模型相当甚至更好的精度。 查看全部121篇「时间序列」论文 → CodeBrain 用「时频双码本解耦 tokenizer + 全局结构卷积 SSM 与滑动窗注意力并行的多尺度架构」打造 EEG 基础模型，在最大公开 EEG 语料上预训练后，于 8 类任务 10 个数据集上稳定超越现有 EEG 基础模型，并提供码本级的可解释性。 本文首次识别出注意力 MIL 在全切片图像（WSI）训练中的"注意力动态不稳定"失败模式，提出 ASMIL：用 EMA 锚点模型蒸馏稳定注意力、用归一化 sigmoid 抑制注意力过度集中、用 token 随机丢弃缓解过拟合，三招合一在多个病理数据集上把 F1 提升最高 6.49%。 提出 Δ-LFM 框架：用 ArcRank 损失在潜在空间构建患者特异性时间对齐轨迹（角度一致 + 幅度单调递增），将流匹配时间范围从 [0,1] 扩展到 [0,T] 实际时间间隔实现任意时间点预测，在三个阿尔茨海默纵向 MRI 基准上全面超越 8 种基线方法，并提出进展专用指标 Δ-RMAE。 提出 LaVCa 方法，利用 LLM 为人类视觉皮层的每个体素生成自然语言描述（caption），通过"编码模型→最优图像选取→MLLM生成描述→LLM关键词提炼+句子组合"四步流程，比已有方法 BrainSCUBA 更准确、更多样地揭示了体素级视觉选择性。 OmniCT 用一套「切片组合 + 三轴位置编码 + MoE 混合投影」的空间一致性增强（SCE）把 2D 切片和 3D 体素统一进同一个 LVLM 的 token 空间，再用器官级语义增强（OSE）把解剖区域显式注入表征，配上 170 万样本的 MedEval-CT 数据集与混合基准，在切片驱动和体素驱动两类 CT 任务上都大幅超过现有医学/通用 LVLM（7B 切片平均 81.45，体素平均 66.15）。 U2-BENCH 是第一个系统评测大视觉语言模型（LVLM）超声理解能力的基准，它从 40 个授权数据集采样 7,241 个病例、覆盖 15 个解剖部位，定义了横跨分类/检测/回归/文本生成四大类的 8 个临床任务，对 20 个开源闭源模型评测后发现：模型在图像级分类上表现尚可，但在空间推理和临床语言生成上普遍崩盘。 提出 Multi-Granular Language Learning (MGLL)，一个即插即用的对比学习框架，通过 soft CLIP loss、point-wise loss 和 smooth KL 散度联合优化，实现医学图像与多标签多粒度文本描述的对齐，在眼底和 X 光数据集上全面超越 SOTA 方法，并可作为视觉编码器嵌入多模态大语言模型提升诊断准确率最高达 34.1%。 用单个模型、单次前向就估计出"无穷大随机初始化集成"的预测方差——把集成方差重新表述成一个带核相似度标签的监督回归问题，从而无需真的训练集成、也无需求逆 Gram 矩阵，就能给出和深度集成相当甚至更好的不确定性，并在 OOD 检测和稀疏奖励 RL 探索上验证。 BrainGFM 把 fMRI 脑网络当成图来建模，用「图对比 + 图掩码自编码」在 27 个数据集、8 种脑图谱共 40 万张脑图上做大规模预训练，再用元学习优化的图提示做小样本适配、用 BioClinicalBERT 编码的语言提示做零样本迁移，使一个冻结的脑基础模型能跨越各种图谱、脑疾病和任务设置直接诊断。 提出 Brain-IT 框架，通过脑启发式的 Brain Interaction Transformer (BIT) 将功能相似的脑体素聚类为跨被试共享的 Brain Token，并从中预测局部化的语义和结构图像特征，实现从 fMRI 到图像的高保真重建，仅用 1 小时数据即达到先前方法 40 小时的性能。 查看全部86篇「医学图像」论文 → 🩺 医疗 LLM (20) ¶ SimpleToM 揭示了 LLM 在 Theory of Mind 上的关键缺陷：前沿模型能准确推断他人心理状态（显式 ToM），但在将此知识应用于行为预测和行为判断时性能急剧下降（应用 ToM），暴露了"知道什么"与"如何使用所知"之间的重大鸿沟。 作者联合 100 位持证心理咨询专业人士，构建了一个面向 开放式心理健康问答 的双组件基准 CounselBench：一组是 2000 条专家逐维度打分 + 跨度标注的评估集（CounselBench-Eval），一组是 120 道临床医生手写、专门用来诱发特定失败模式的对抗题（CounselBench-Adv），系统揭示了 LLM 在心理咨询场景下"高分但仍有安全隐患"的现状，并实证了 LLM-as-Judge 在该高风险领域不可靠。 联合100名持证心理健康专家构建CounselBench双组件基准——CounselBench-EVAL（2,000条六维度专家评估）和CounselBench-Adv（120个对抗性问题+1,080条响应标注），系统性揭示LLM在心理健康开放式问答中表面得分高但存在过度泛化、擅自医疗建议等安全隐患，同时证明LLM-as-Judge在安全关键领域严重不可靠。 本文构建了 Cancer-Myth——一个由肿瘤血液科医生核验、含 585 个"带错误前提"癌症患者问题的对抗数据集，发现包括 GPT-5、Gemini-2.5-Pro、Claude-4-Sonnet 在内的所有前沿 LLM 纠正错误前提的成功率都不超过 43%，且加防范性提示等缓解手段会在"无错误前提"问题上引发大量误纠正、并拖累其他医疗基准，揭示了医疗 LLM 在患者沟通安全上的关键缺口。 构建了首个统一的生物医学数据科学 Agent 训练环境 MedAgentGym，包含 72,413 个任务实例（覆盖 12 个真实场景、129 个类别），配备可执行沙盒和可验证 ground truth，系统基准评估 29 个 LLM 揭示商业/开源差距，并通过高效多线程轨迹采样 + 离线/在线 RL 训练出 Med-Copilot，分别获得 +43.02%/+45.28% 提升，达到与 GPT-4o 竞争的性能。 作者构建了 MedEvidence 基准——把 100 篇 Cochrane 系统综述（SR）的结论改写成 284 道封闭式问答，并配上综述所依据的原始研究，让 LLM 在"看到和专家相同材料"的受控条件下复现专家结论；评测 25 个 LLM 后发现：推理不一定更好、模型越大边际收益越小、医学微调反而掉点，模型普遍缺乏对低质量证据的"科学怀疑"，至少 37% 的题答不对专家结论。 Doctor-R1 把门诊问诊建模成部分可观测的多轮决策过程，用「多智能体交互环境 + 两级奖励架构 + 经验库」做经验式 agentic 强化学习，让一个 8B 的医生智能体既会战略性、有同理心地追问，又能做对诊断，在 HealthBench / MAQuE 上反超 32B 开源模型和 GPT-4.1 等闭源大模型。 提出 ATPO（自适应树策略优化）算法，将多轮医疗对话建模为层级马尔可夫决策过程（H-MDP），通过不确定性感知的自适应树扩展机制动态分配rollout预算，结合Bellman误差和动作值方差的复合不确定性度量来引导探索，在三个医学对话基准上以Qwen3-8B超越GPT-4o。 针对 LLM 在临床多轮问诊中"信息不全也敢下诊断"的过度自信问题，KnowGuard 提出"先调查再弃答"(investigate-before-abstain)范式：把弃答决策从依赖模型自评，改成在一张医学知识图谱上跨轮系统性地探索证据，用一个滚动更新的上下文证据池判断"还缺什么证据"，从而决定该继续追问还是给出诊断；在自建的开放式多轮基准上平均诊断准确率提升 3.93%、平均仅 5.74 轮即收敛。 提出 mCLM（模块化化学语言模型），通过将分子表示为可合成构建模块的序列，使 LLM 能生成同时满足药理功能和自动化合成可行性的分子，在 430 种 FDA 批准药物上显著改善了药代动力学和毒性性质。 查看全部20篇「医疗 LLM」论文 → La-Proteina 用「α-碳坐标显式建模 + 其余原子细节与序列压进每残基固定维隐变量」的部分隐变量表示，把全原子蛋白质的混合离散-连续、变维难题转成纯连续定维问题，再用流匹配联合生成序列与全原子结构，在全原子可共设计性、多样性、结构合理性上达到 SOTA，并能扩展到 800 残基的长蛋白。 SimpleFold 把蛋白质折叠当成「氨基酸序列→全原子 3D 结构」的条件生成任务，仅用标准 Transformer 块 + flow-matching 目标训练，彻底丢掉 AlphaFold2 那套 MSA、配对表示、三角更新和等变模块，在 9M 蒸馏结构上把模型规模拉到 3B，在标准折叠基准上逼近 SOTA，并在构象集合生成上表现尤其突出。 TRIBE 把文本、音频、视频三个预训练基础模型的中间层表征喂给一个时序 Transformer，端到端地预测被试看视频时全脑 1000 个 parcel 的 fMRI 响应，凭借「非线性 + 跨被试 + 多模态」三位一体的设计在 Algonauts 2025 脑编码竞赛中以明显优势从 267 支队伍中夺冠。 DriftLite 提出在 Fokker-Planck 方程中利用漂移-势函数的自由度，通过轻量级线性系统求解最优控制漂移来主动稳定粒子权重，以最小代价解决 Sequential Monte Carlo 中的权重退化问题，在高斯混合、分子系统和蛋白质-配体共折叠任务上大幅超越 Guidance-SMC 基线。 HEIST 把组织建模成「空间细胞图 + 每个细胞内部的基因共表达网络」双层层次图，通过跨层级有向注意力让基因表征受空间微环境调制、细胞表征受内部转录态影响，从而摆脱固定基因词表、零样本迁移到蛋白质组学，并在临床预测、细胞注释、基因填补等任务上刷新 SOTA。 把分子动力学里的"well-tempered metadynamics"沿集体变量（CV）施加在线排斥偏置的思想，嫁接到 state-of-the-art 的扩散采样器 ASBS 上，得到 WT-ASBS：训练中沿低维 CV 持续累积偏置逼出稀有构象、推理时按偏置重加权恢复玻尔兹曼分布，首次用扩散采样器以远低于 metadynamics 的墙钟时间采样了带键断裂/形成的反应能面。 提出 VCWorld，一个细胞级白盒模拟器，整合结构化生物知识图谱与大语言模型的迭代推理能力，以数据高效的方式模拟药物扰动引发的信号级联，生成可解释的逐步预测和显式机制假说，在药物扰动基准上达到 SOTA。 提出 MF-(TS)NPE：用便宜的低保真仿真预训练神经密度估计器，再用少量昂贵的高保真仿真微调，把基于仿真的贝叶斯推断所需的高保真仿真次数降低最多两个数量级。 CryoLVM 把联合嵌入预测架构（JEPA）+ SCUNet 主干引入 cryo-EM 三维密度图领域，用 EMDB 上 7,302 张真实实验密度图做表征空间的自监督预训练，再配一个新颖的直方图分布对齐损失做微调，在密度图锐化、超分辨、缺失楔补全三个下游任务上一致超越 DeepEMhancer、EMReady、EM-GAN、IsoNet 等专用方法。 提出 scDFM，基于条件流匹配（CFM）的生成式框架，通过 MMD 正则化保证分布级保真度，并设计 PAD-Transformer 骨干处理噪声稀疏的单细胞数据，在组合扰动预测上比最强基线 CellFlow 的 MSE 降低 19.6%。 查看全部155篇「计算生物」论文 → ⚛️ 物理/科学计算 (69) ¶ PBFM 把 PDE 残差约束作为训练时的第二个目标，用无冲突梯度（ConFIG）取代手工 loss 加权、用 unrolling 重建干净样本来消除 Jensen 间隙，从而在不增加推理开销的前提下让流匹配同时逼近物理一致性和分布准确性，并在三个 PDE 基准上把整条「物理 vs 分布」帕累托前沿往前推。 本文提出 PDNS（近端扩散神经采样器），把"从未归一化目标分布采样"建模成路径测度空间上的随机最优控制问题，再用 近端点方法 把一次性全局优化拆成一串带 KL 邻近约束的子问题，让采样器沿着 \(\pi\) 与参考分布的几何插值路径逐步逼近目标，从而在强多模态（分子动力学、Ising/Potts 等统计物理）任务上缓解模态崩溃，多个连续与离散基准上达到 SOTA。 ARROW 把全球天气预报里的“下一步预测模型”和“长时 autoregressive rollout 策略”一起重新设计：用一个多间隔预测模型统一处理 6/12/24 小时尺度，再用 DQN 调度器根据当前天气状态自适应选择下一跳，从而在中长期预报中同时降低误差累积并保留细粒度大气变化。 本文提出 Frozen-PINN，把 PINN 的空间基函数随机采样后冻结，再用最小二乘和自适应 ODE solver 推进随时间变化的输出层系数，从根上绕开梯度下降训练，在多类时间依赖 PDE 上同时获得更快训练、更高精度和显式时间因果性。 首次对样条KAN的初始化策略进行系统性研究，提出LeCun/Glorot启发的方差保持方案和可调幂律初始化族，在126K+模型实例的大规模实验中证明幂律初始化在函数拟合和PDE求解上全面超越基线，Glorot方案在大参数量模型上增益显著，NTK特征谱分析揭示了其背后的优化动力学机制。 LD-EnSF 用可学习的潜动力学网络（LDNet）替代昂贵的全空间数值前向模拟，把基于分数的集合滤波（EnSF）完全搬进一个极低维潜空间，并用历史感知的 LSTM 编码器对齐稀疏不规则观测，从而在保持高精度的同时把数据同化加速数个量级。 这篇论文系统证伪了 Fourier 神经算子（FNO）一类机器学习算子（MLO）"零样本超分辨"的承诺——把多分辨率推理拆成"分辨率插值"和"频率信息外推"两个子能力后，发现 FNO 两个都做不到、反而严重混叠，物理约束和带限学习也救不回来；最后提出一个朴素但有效的多分辨率训练协议，用极少的高分辨率数据就能换来稳健的跨分辨率泛化。 CFO 把生成模型里的流匹配「借」过来学时变 PDE 的右端项动力学——给轨迹拟一条样条、用有限差分估计样条在节点处的时间导数当作速度场标签，训练一个神经算子去回归这个解析速度，从而既不用像神经 ODE 那样反传穿过 ODE 求解器，又能在不规则时间网格上训练、在任意时间分辨率上推理，仅用 25% 不规则采样数据就把全数据自回归基线的相对误差最多降了 87%。 本文把经典的区域分解方法（DDM）和神经算子结合，提出"局部到全局"框架：只在随机生成的基本形状（简单多边形）上训练一个局部神经算子，推理时把任意几何域切成小子域、逐域求解再用加性 Schwarz 迭代缝合（称为 Schwarz Neural Inference, SNI），从而在完全没见过的新几何上把相对误差从直接推理的 20%~167% 降到个位数。 RealPDEBench 是首个把 真实实验测量数据与配对数值仿真数据 一起打包的科学机器学习基准，覆盖 5 个复杂物理系统、3 类任务、9 个指标和 10 个 baseline，系统揭示了仿真数据与真实数据之间的巨大差距，并证明"先用仿真预训练、再用真实数据微调"能稳定提升精度与收敛速度。 查看全部69篇「物理/科学计算」论文 → 这篇论文把 NLP/CV 里催生 ImageNet、AlphaZero 的"通用任务框架(Common Task Framework, CTF)"思路搬到地震学，提供三套多尺度地震波场数据集 + 一套 12 分制的隐藏测试集评测协议，并用它公平横评了 18 个主流科学机器学习模型——结果发现绝大多数复杂模型连"全预测 0"的朴素基线都打不过。 RainPro-8 用一个仅 36.7M 参数的 MaxViT-U-Net，把雷达、卫星、数值天气预报（NWP）多源数据融合起来，通过「有序一致损失 + 单次前向预测全时刻」一次性输出欧洲 8 小时、高分辨率的概率性降水预报，精度超过现有 NWP、外推法和深度学习临近预报，同时推理比 MetNet 类方法快 48 倍。 针对天气基础模型（WFM）微调，提出 WeatherPEFT：前向用 Task-Adaptive Dynamic Prompting（TADP）从编码器嵌入权重里抽出"变量×分辨率×时空"的任务特征生成软 prompt，反向用 Stochastic Fisher-Guided Adaptive Selection（SFAS）只更新 Fisher 信息最高的少量参数，在三个下游任务上用 ~0.3%–4% 的可训练参数追平甚至超过全量微调（Full-Tuning）。 OmniField 把"科学观测数据"（气候、空气污染）建模成一个 以可用模态为条件的连续神经场 ，用多模态串扰块（MCT）+ 迭代跨模态精修（ICMR）在解码前对齐异构信号，无需打网格或插值预处理就能统一做重建/插值/预测/跨模态预测，相对 8 个强基线平均降低 22.4% 误差，且在重度传感器噪声下几乎不掉点。 GeoFAR 将气候超分辨率中的低频偏置拆成“频率表达不足”和“地理条件缺失”两个问题，用 DCT 频率卷积核提取细粒度频带表示，再用经纬度与高程构成的地理隐式表示逐像素调制这些表示，从而在 ERA5、PRISM、CERRA 等多尺度气候降尺度任务上显著降低高频误差和复杂地形区域的预测偏差。 TianQuan-S2S 把"长期气候平均态"通过注意力融合塞进 patch embedding、并在 ViT 每一层注入可学习的高斯噪声，专治数据驱动模型在 15–45 天次季节预报上"越预测越糊"的模型坍缩问题，在 ERA5 上同时超过数值模式 ECMWF-S2S 和数据驱动的 FuXi-S2S。 本文把神经正切核（NTK）理论扩展到全波形反演（FWI），提出"基于波的 NTK"统一刻画传统 FWI 与连续表示 FWI（CR-FWI），用其特征值衰减速率解释了"为什么 INR 表示更鲁棒却高频收敛慢"，并据此设计出 INR 与多分辨率网格混合的 IG-FWI，在鲁棒性与收敛速度之间取得更优权衡。 从SSM视角提出三项核心改进：指数-梯形离散化、复值状态空间、多输入多输出(MIMO)公式化，在不增加解码延迟的前提下显著提升模型质量和状态追踪能力，推进性能-效率Pareto前沿。 提出 Directer（Dynamic Rejection Steering），通过在每个解码步动态调节 KV 缓存引导强度并引入合理性约束，显著提升 LLM 指令遵循能力，同时避免过度引导导致的文本质量下降。 针对 LLM 驱动的无损压缩中"编解码两端预测概率必须逐位完全一致、否则级联解码崩溃"的致命问题，本文提出 PMATIC——一种把比特概率量化到分箱、再用低熵 helper 比特让两端锁定同一量化概率的算术编码替代方案，能容忍有界的预测失配，理论上保证正确解码，实测在真实跨机非确定性下全部文件正确还原，同时压缩率仍大幅领先 gzip/cmix 等传统工具。 把信息论里的经典 Gray-Wyner 网络做成可学习的三通道编解码器，用一个带 β 超参的目标函数把两个视觉任务之间的"公共信息"和"私有信息"分离开，并在"发送速率"与"接收速率"之间做可调权衡。 针对脉冲神经网络（SNN）二值脉冲表示能力受限、替代梯度失配两大顽疾，本文提出参数化可逆变换 PIT——在神经元发放（firing）前后以共轭方式各做一次可逆线性变换，发放前把膜电位分布"重排"成易量化的形态、发放后把整数脉冲"增广"成跨时空的实值输出，同时配一个把输入推离量化决策边界的修正替代梯度，并用线性代数刻画了 SNN 时空表示容量；在 CIFAR、ImageNet、DVS 等数据集上多种架构均刷新 SOTA（如 SEW ResNet34 涨 5.62%）。 EfficientMPT 把 Transformer 纠错码解码器里 \(O(n^2)\) 的标准注意力换成一套只靠"全局 query 向量 + 逐元素乘"的线性复杂度 EEC 注意力，在保持与 SOTA（CrossMPT）相当的纠错性能的同时，对长 LDPC 码把显存和 FLOPs 砍掉数十倍，并且参数量与码长无关、能当一个可微调的纠错"基础模型"。 针对无线信号识别（WSR）预训练，本文把扩散模型的"加噪-去噪"范式引入信号自监督，提出 TS-DDAE：在时域和频域同时给 IQ 信号注入高斯噪声，再用专门设计的双编码器 TS-Net（时域自注意力 + 频域通道注意力）联合还原，学到的表征在 4 个数据集、AMC/WTC 等多任务上平均超过最优基线 1.32%、超过 AMC SOTA 模型 IQFormer 约 8.75%。 INTIMA 把心理学的拟社会互动、依恋、拟人化三套理论，加上对真实 Reddit 用户帖子的质性编码，蒸馏成一个含 31 种行为、368 条情感化 prompt 的基准，再用 LLM 自动给模型回复打上「强化陪伴 / 维持边界 / 中性」三类标签，结果发现 Gemma-3、Phi-4、o4-mini、GPT5-mini、Claude-4 全都明显偏向强化陪伴，而且越是用户脆弱的场景、模型反而越少设边界。 针对知识编辑（Knowledge Editing）的双重使用风险，提出 EditScope 方法从编辑后的权重中推断被编辑的目标实体（准确率高达 99%），以及基于 SVD bottom-rank 近似的无训练编辑逆转方法（逆转率高达 94%），仅依赖编辑后的权重、不需要编辑 prompt 或原始权重信息。 只给 LLM 一个人的 20 道大五人格题答案，让它角色扮演去预测这个人在另外 9 个心理量表上的作答，结果 LLM 重建出的"量表间相关结构"与真实人类数据高度对齐（ \(R^2>0.88\) ），并且通过分析推理链发现 LLM 走的是"先把原始分压缩成自然语言人格摘要、再据此推理"的两阶段抽象过程——它不是语义模式匹配，而是在做真正的心理推理。 提出首个专门针对社会政治危害的LLM安全评估基准 SocialHarmBench，包含585条覆盖7个领域、34个国家的提示，揭示了当前LLM在历史修正主义、宣传操纵等政治敏感场景中的系统性安全漏洞。 提出 SAGE，一个统一的 VPR 训练框架：引入轻量 Soft Probing 模块增强局部特征判别力，每个 epoch 在线重建融合地理距离与视觉相似度的亲和图，再通过贪心加权团扩展聚焦最难样本，冻结 DINOv2 骨干仅训练 1.96M 参数即在 8 个基准上全面 SOTA。 本文构建了 BiasFreeBench 基准，首次在统一框架下系统比较 8 种主流去偏方法（4 种 prompting + 4 种 training），聚焦于 LLM 响应层面的偏差评估，并提出了 Bias-Free Score 指标，发现 prompting 方法（尤其是 CoT）整体优于 training 方法，而 DPO 在跨偏差类型泛化上表现突出。 揭示 DPO 的"过早满足"问题——当 reference 策略对 chosen 的概率低于 rejected 时（~45% pairs），DPO 的梯度被 reference 的悲观信号不必要地衰减（即使策略仍然错误即 \(\Delta_\theta < 0\) ）；提出 HyPO（一行代码修改： \(\max(0, \Delta_{ref})\) 裁剪 reference margin），在 AlpacaEval 2.0 上相对 DPO 提升 41.2%。 提出 RAVEN 审计框架，通过结合模型内语义熵和跨模型分歧来检测 LLM 中的概念条件语义分歧——一种类似宣传的行为模式，即高层概念线索（意识形态、公众人物）触发异常一致的立场响应。 提出将 Tsallis 熵（SE 的广义形式）引入 VLM 的 Test-Time Adaptation，并进一步发展为自适应去偏 Tsallis 熵（ADTE），为每个类别定制去偏参数 \(q^l\) ，在不引入分布特定超参数的情况下比 Shannon 熵选择更可靠的高置信视图，在 ImageNet 及其 5 个变体和 10 个跨域 benchmark 上均超越 SOTA。 提出GRADIEND——一个基于梯度的编码器-解码器架构，通过单个瓶颈神经元从模型梯度中学习可解释的单语义特征（以性别为例），不仅可以识别哪些权重编码了特定特征，还能通过解码器直接修改模型权重来消除偏见，与INLP结合在所有基线模型上达到SOTA去偏效果。 查看全部17篇「社会计算」论文 → 🛡️ AI 安全 (139) ¶ 构建首个完整的视觉prompt注入攻击基准VPI-Bench（306样本），系统评估Computer-Use和Browser-Use Agent在5个平台上的安全性。发现Browser-Use Agent极度脆弱（Amazon/Booking上100% AR），即使Anthropic的CUA也存在严重漏洞（最高59% AR），系统prompt防御无效。 MoReBench 提出用专家手写的 23,018 条 rubric 准则去评测推理模型在 1,000 个道德困境上 思考过程的结构质量 （而非最终结论对错），并发现 scaling laws 与数学/代码基准都无法预测模型的道德推理能力。 这是第一项把 AI 智能体和真人网络安全专家放进 同一个真实生产网络 （某大学约 8000 台主机）做渗透测试的对照评测：作者同时跑 10 位专业渗透测试员、6 个现有智能体脚手架和自研的多智能体框架 ARTEMIS，结果 ARTEMIS 以 9 个有效漏洞、82% 有效提交率拿下总榜第二、压过 10 人中的 9 人，而 Codex、CyAgent 等现成脚手架几乎垫底——同时暴露出 AI 在系统化枚举/并行利用/成本上的优势与高假阳率、不会操作 GUI 的短板。 本文指出传统类别遗忘默认"类别标签 = 想抹掉的目标概念"，而真实的删除请求往往二者错配；为此作者把遗忘数据、模型输出、目标概念拆成三个标签域，定义出 target/model/data 三类错配任务，并提出 TARF 框架——用"表示引力"识别藏在剩余集里的同概念数据，再用退火梯度上升 + 目标感知梯度下降的三阶段动态目标，把目标概念精确剥离、逼近重训模型。 本文把"样本对训练的贡献"刻画为预训练模型对该样本的输入敏感度，并提出 MU-Mis：只用预训练模型和遗忘数据、不碰任何剩余数据，通过最小化"目标类与无关类的敏感度差"直接抹掉遗忘样本的贡献，首次让一个 remaining-data-free 方法在效用上追平依赖剩余数据的 SOTA。 首次系统性研究基于水印的AI生成内容用户级检测与溯源，提供了理论分析（TDR/FDR/TAR界）、高效水印选择算法（A-BSTA）和跨模态（图像+文本）实验验证，证明检测和溯源继承了水印方法本身的准确性与（非）鲁棒性。 LAMDA 构建了一个覆盖 2013-2025 年、超过 100 万个 Android APK 的长期恶意软件基准，用 Drebin 静态特征、家族标签和多种时间切分系统揭示现有恶意软件检测器在真实概念漂移下会快速退化。 LingoLoop 通过给输入图像加微小对抗扰动，利用「词性先验压制 EOS」和「收缩隐藏状态诱导循环」两步，把多模态大模型逼进无穷重复输出，在放开生成上限时可产生比正常多 367× 的 token，造成算力/能耗耗尽式的拒绝服务。 提出 Banded Inverse Square Root (BISR) 矩阵分解方法，通过对逆相关矩阵（而非相关矩阵本身）施加带状结构，首次在多轮参与差分隐私 SGD 中实现渐近最优的分解误差界，并配套低存储优化变体 BandInvMF。 本文用可计算性理论中的 oracle 机器与「归约」概念，把五花八门的 Human-in-the-Loop（HITL）人类监督方案严格形式化为三类——平凡监控、端点干预、深度交互，再据此建立失效模式分类法并剖析 UK/EU 法律的盲点，最终揭示出一个无法回避的「责任归属 ↔ 技术可解释性」权衡。 查看全部139篇「AI 安全」论文 → 本文提出 Proteína-Complexa（Complexa） ，把蛋白质 binder（结合蛋白）设计中长期割裂的"生成式建模"和"hallucination 序列优化"两条路线统一进同一框架：先用一个从 AFDB 结构域互作里造出来的大规模合成数据集 Teddymer 预训练一个全原子流匹配生成基座，再在推理时把扩散/流模型里的 test-time scaling 算法（Best-of-N、beam search、FKS、MCTS）搬过来，用结构预测器的界面置信度当奖励去"搜"出强 binder，在归一化算力预算下大幅超过 BindCraft 等 hallucination 方法。 AnyUp 提出首个 编码器无关 的可学习特征上采样方法，通过 feature-agnostic 卷积层和窗口注意力机制，仅训练一次即可对任意视觉特征在任意分辨率间进行高质量上采样，在语义分割、深度估计等任务上达到 SOTA。 本文系统梳理了图机器学习领域围绕 oversmoothing、oversquashing、同质/异质性和长程依赖的九个常见误区，通过简洁反例逐一反驳，将"oversquashing"拆分为 计算瓶颈 和 拓扑瓶颈 两个独立概念，厘清了领域中广泛存在的概念混淆。 SmellNet 用低成本便携式气体传感器采集 50 种自然食材和 43 类混合气味的真实时序信号，并用结合时间差分、滑动窗口和 GC-MS 化学先验的 SCENTFORMER 建立机器嗅觉基准。 把并行回火（Parallel Tempering, PT）里那个"直接对换两条链当前状态"的死板交换动作，换成"先用神经传输（归一化流 / 受控扩散 / 扩散模型）把两个状态各自往中间推几步、再做 Metropolis 接受判定"，从而在相邻退火分布几乎不重叠时也能高概率交换，在保持 MCMC 渐近无偏的前提下大幅提升参考分布到目标分布的往返次数（round trip），并顺带得到低方差的自由能估计。 提出 Local Bayesian Influence Function (BIF)，用 SGLD 采样估计的协方差替代经典影响函数中不可行的 Hessian 逆运算，实现了对数十亿参数模型的无架构限制数据归因，在重训练实验中达到 SOTA。 提出 PlanetAlign，一个集成 18 个跨 6 个领域的数据集、14 种覆盖三大类别（一致性、嵌入、最优传输）方法和标准化评估流程的 PyTorch 网络对齐基准库，通过大规模系统实验揭示了 OT 类方法（PARROT/JOENA）在有效性上的全面领先以及各类方法在可扩展性和鲁棒性上的差异化表现。 本文利用代数几何工具，对多项式激活的 MLP 和 CNN 进行了系统性分析：证明了 MLP 的有限可辨识性和 CNN 的唯一可辨识性，揭示了稀疏子网络对应神经流形的奇异点，并从"临界暴露性"角度给出了 MLP 稀疏偏差的几何解释——而 CNN 不具备这种偏差。 LPWM 是首个能扩展到真实世界多物体数据集的自监督物体中心世界模型，核心创新是为每个粒子学习独立的潜在动作分布（per-particle latent actions），通过因果时空 Transformer 并行编码所有帧，支持动作/语言/图像目标/多视角等多种条件生成，在视频预测上达到 SOTA 并展示了模仿学习能力（OGBench task3 成功率 89%）。 提出 TabStruct 评估框架和 global utility 指标，在不需要真实因果图的情况下衡量表格数据生成器对因果结构的保真度，在 29 个数据集上系统比较 13 种生成器，发现扩散模型在全局结构保持上显著优于其他方法。 查看全部115篇「其他」论文 →