EZ.AI Daily

在多模态大语言模型（MLLMs）的演进历程中，一个核心架构一直占据主导地位：预训练视觉编码器。它像一位经验丰富的导师，为模型提供强大的视觉先验知识，帮助模型理解图像。然而，这种依赖外部模块的架构并非唯一解。另一种被称为“无编码器”（Encoder-free）的架构主张直接从原始像素中学习视觉表征，追求更简洁、统一的架构设计。尽管这一理念颇具吸引力，但其随算力扩展的行为规律此前一直缺乏系统性的研究。为了填补这一空白，最新研究深入对比了无编码器与有编码器架构的扩展定律，揭示了三个关键发现，为多模态预训练的未来指明了方向。

首先，移除视觉编码器彻底改变了计算资源的分配逻辑。研究发现，对于多模态目标而言，无编码器架构将计算最优分配点推向了更大的模型规模。这意味着，要想在没有视觉先验辅助的情况下达到同等效果，模型本身需要变得更大、更强。有趣的是，这种变化对纯文本目标的影响微乎其微，文本处理的计算最优分配点几乎保持不变。这表明视觉理解的复杂性在去除了外部编码器后，更多地内化到了语言模型本身的规模扩张中。

其次，两种架构在性能表现上呈现出一种“先落后，后超越”的有趣轨迹。在文本目标上，两者的损失-算力前沿几乎重叠，说明它们在处理语言任务上的效率相当。但在多模态目标上，差异显著：在小规模算力下，无编码器模型表现不佳，明显落后于有编码器模型。然而，随着算力的增加，这种差距逐渐缩小。研究预测，当算力达到约 $10^{22}$ FLOPs 时，无编码器模型将迎头赶上，达到与有编码器模型相当的性能水平。令人振奋的是，这一算力阈值完全处于当前实际预训练预算的可承受范围内，意味着这一技术路线并非遥不可及的理论构想，而是即将落地的工程现实。

最后，研究揭示了无编码器架构内部发生的深刻机制变化。在没有视觉编码器的情况下，语言模型被迫“接管”视觉处理的角色，并通过一种名为“视觉特定适应”（vision-specific adaptation）的机制来实现这一转变。具体表现为：随着训练算力的增长，视觉标记之间的双向交互变得愈发有益；视觉处理的重心向模型的早期层转移；同时，用于视觉标记的专家路由变得更加集中。这些现象表明，语言模型正在自发地重组其内部结构，以专门应对视觉信息的处理需求，从而弥补了缺失视觉先验带来的劣势。

综上所述，这项研究有力地证明，预训练视觉编码器提供的优势会随着模型规模和算力的增加而逐渐减弱。无编码器架构不仅是一种简化的尝试，更是一种具有巨大潜力的发展方向。它暗示着，未来的多模态模型可能不再需要复杂的模块化拼接，而是通过统一的、大规模的端到端训练，直接从像素中涌现出强大的视觉理解能力。这一发现不仅挑战了现有的架构范式，也为研究者提供了清晰的路线图：在算力允许的范围内，拥抱更简洁、更统一的无编码器架构，或许是通往通用多模态智能的必经之路。当模型足够大时，复杂的外部辅助或许终将让位于内在的涌现能力。

在自动驾驶领域，构建能够理解物理世界、进行推理规划并确保安全的“世界模型”一直是核心挑战。现有的基于联合嵌入预测架构（JEPA）的世界模型，如LeWM、DINO-WM和JEPA-WM，往往陷入两难境地：要么在驾驶任务中表现精准但计算成本高昂，要么计算效率较高但规划能力不足。为了打破这一瓶颈，研究人员提出了名为AD-E2E-JEPA的新架构，旨在解决精度与效率之间的权衡问题。

为了公平地评估世界模型本身的质量，而不受驾驶策略学习的影响，研究团队采用了一种目标条件的零样本规划设置。在这种设置下，模型直接使用真实的未来观测作为目标，无需训练任何驾驶策略即可进行规划。这一方法清晰地揭示了现有模型的缺陷：它们难以同时兼顾高效性与规划精度。

AD-E2E-JEPA的核心创新在于引入了一个经过SIGReg正则化的可学习投影器，应用于投影后的补丁嵌入。这一设计巧妙地减少了规划所需的补丁数量达16倍，并将嵌入维度降低了4倍。结果是惊人的：推理速度提升了100倍，同时保留了原有的规划性能。具体而言，在256条候选轨迹上对8帧进行滚动预测时，其运行时间仅为0.8秒。

令人印象深刻的是，即使在不训练任何驾驶策略的情况下，该世界模型本身就能展现出强大的定位能力。在平均20米的目标距离上，使用256条候选轨迹时，位移误差仅为4.0米；当候选轨迹增加至8192条时，误差进一步缩小至2.8米。在NAVSIMv2基准测试中，该模型在目标条件零样本规划中表现出色，使用乘法安全指标时达到67.3/72.9的EPDMS分数，而在不使用该指标时则达到84.1/86.5的EPDMS分数。

此外，实验还表明，这种自监督预训练的投影器对下游任务也有显著帮助。它将模仿学习的性能从80.2 EPDMS提升至85.4 EPDMS，证明了基础架构优化对整体系统性能的深远影响。这项研究不仅提供了一款高效的世界模型，更展示了通过架构创新解决自动驾驶中计算效率与规划精度矛盾的可能性。当算法不再被算力束缚，自动驾驶的决策边界或许正悄然扩展，向着更智能、更实时的未来迈进。

扩散模型在连续数据生成领域取得了显著进展，但离散扩散模型在中间步骤中通过类别采样丢弃不确定性，导致信息坍缩。为此，研究人员提出了单纯形扩散模型（Simplex Diffusion Models, SDMs）。该框架将扩散过程提升至概率单纯形上，以表示对类别的信念。SDMs允许具有闭式反向转移的概率路径，并可通过简单的交叉熵损失进行训练。与需要积分常微分方程的Dirichlet Flow Matching不同，SDMs引入了类似DDIM的采样器，具有可调的随机性水平。由于SDMs在单纯形上操作，它们能够在去噪步骤中保留不确定性，从而缓解信息坍缩问题。在OpenWebText数据集上，SDMs与强大的离散扩散基线模型具有竞争力，在64步采样中实现了17.0的GenPPL和5.46的单字熵，接近真实验证数据。即使不使用自条件（Self-Conditioning），SDMs在代码生成任务（TinyGSM，T=0.1）上也优于掩码和均匀扩散模型（49.0%对比45.8%）。当蒸馏至8步时，SDMs解决了32.1%的GSM8K问题，超过了使用128步蒸馏的离散扩散模型（21.4%）。

机器人操作技术的扩展主要受限于真实世界机器人数据的稀缺。尽管近期方法利用人类视频演示来缓解这一短缺，但计算成本高昂，且仍需依赖配对的人机数据进行领域对齐。此外，现有最先进技术在长时程任务上表现优异，但在复杂工具操作所需的精细精确控制方面仍存在困难。为此，研究人员提出了名为P2P-T（从像素到姿态的工具操作）的数据高效、以物体为中心的框架，旨在直接从人类演示中学习工具使用。P2P-T通过两阶段方法弥合认知与物理执行之间的差距：首先预训练一个以物体为中心的世界模型以提取稳定的姿态先验；其次将这些先验整合到一个高效、感知姿态的低层策略中。借助由现代基础模型驱动的稳健自动化数据处理流水线，P2P-T完全绕过了对人机对齐数据的需求，从而大幅降低了整体训练开销。在仅需极少的针对特定任务的微调后，该框架在复杂真实世界工具操作任务上的执行性能较此前最先进水平提升了73%，这些任务目前仍难以被标准的大规模预训练模型所掌握。

针对大语言模型对齐中奖励模型通常将提示与响应简化为点估计或固定参数分布的问题，研究人员提出了扩散奖励模型（DRM）。鉴于人类偏好具有多模态特性，即同一响应可能存在多种合理判断，DRM将奖励建模重构为条件密度估计任务。该模型基于冻结的大语言模型编码器，利用轻量级扩散变换器将高斯噪声去噪为奖励向量，从而对输出分布不做参数假设，并能自然表征其多模态结构。DRM采用单一架构同时处理多属性回归和成对偏好数据，在推理阶段可通过多次采样形成经验奖励分布，进而聚合为标量、方差或分位数。在五个基准测试中，DRM在相同数据和骨干网络条件下表现优于或持平于基线模型，尽管训练规模较小，仍与更大的判别式、分布式和生成式奖励模型保持竞争力，并在传统模型退化为点估计时恢复了多模态奖励结构。此外，结合不确定性感知拒绝和低置信度界聚合策略，DRM展示了利用标量奖励之外的分布信息改进决策的能力。下游的强化学习人类反馈（RLHF）实验表明，使用DRM作为训练时奖励能提升策略性能，验证了基于扩散的奖励建模在RLHF训练中的实际效益。

前沿通用AI系统正迅速扩展其视觉理解能力，涉足传统上由专用计算机视觉模型处理的领域。为探究这一能力的边界及剩余难点，研究人员评估了GPT-6 Astra及另外五个前沿通用AI系统。测试涵盖九个计算机视觉领域的34项能力和55个基准，并在有合适参照的情况下，将其表现与专用模型及人类水平进行了对比。

结果显示，Astra展现了广泛的视觉能力，在视觉与空间推理以及多种结构化预测方面，显著优于其他前沿系统。在各类最先进系统中，出现了一种一致的模式：涉及语义解释、推理和以对象为中心的预测能力，正日益接近或达到现有的参照水平。然而，当任务需要度量几何精度、忠实重建、时间一致的密集预测或专门的细粒度视觉知识时，系统之间仍存在较大差距。虽然额外的推理工具和专用工具能弥补部分差距，但其效果因具体能力而异。这些结果描绘了计算机视觉领域正在变化的格局：日益复杂的视觉任务正通过通用接口变得可及，而精确且对保真度敏感的感知能力仍是一个重要的前沿挑战。

当前视觉-语言-动作（VLA）和世界-动作（WAM）模型将观测和指令直接映射为机器人动作，这种直接性使策略与训练紧密绑定，导致布局或视角的微小变化即引发失败，且指令泛化能力较差。其根本原因在于表征方式：任务需求、条件、进度及失败恢复被隐式编码在动作序列中，难以检查和修正。数字编码智能体提供了先例：大语言模型通过调用工具、验证结果并根据反馈以可执行代码形式进行修正。这种显式状态、可控执行和可修正程序的工作模式，支撑了物理世界中的泛化和长时程执行，使物理经验能转化为可复用的程序、记忆或证据。

本文提出“物理编码”（Physical Coding），将任务状态和执行表征为代码。其中，“代码即世界”记录对象、关系、约束和进度；“代码即策略”组织规划、验证、恢复和执行。基于此构建的HexaAnything系统调用感知、规划和控制工具（包括VLA/WAM策略），并根据外部反馈进行闭环决策。经过验证的轨迹成为数据和记忆，支持从工具和框架到模型权重、架构，乃至硬件和任务设计的进化。

在RoboCasa365基准测试中，HexaAnything在Composite-Unseen和整体成功率上优于XR-1 VLA；其经Harness训练的HexaModel在所有分割上均优于基础模型，表明代码轨迹内化了物理执行。在PhyBench和双臂AgileX机器人上，该智能体自主完成了物理实验和大多数桌面任务，且速度常快于已发表结果。研究观察到数据、模型和工具的自进化；未来工作将聚焦于权重内化、架构/语言/表征/任务的自主重新设计，以及在制造和科学领域的部署。

现有语言模型间的潜在通信机制存在显著缺陷。研究发现，在五种方法与数据集组合中，即使通信使接收方准确率提升15.44分，将消息替换为无关问题的内容后，准确率变化不超过0.60分。这表明接收方可能并未真正利用消息内容，而是依赖接口本身带来的增益，使得共享方变得可有可无。

为解决这一问题，Draft-KV提出了一种新的通信策略。该方法不再传输解码后的文本，而是发送共享方在起草当前问题答案时形成的键值状态。这些状态通过线性投影放置到侧边内存中，并通过门控注意力分支进行读取。训练过程采用渐进式策略，从消息重建过渡到答案监督，同时设置保护机制以限制不匹配消息带来的负面影响。在此架构中，两个语言模型均保持冻结状态，仅训练接口部分，参数量仅为105万，比C2C方法少348倍。

实验结果显示，使用Qwen3-8B作为共享方，冻结的Qwen2.5-0.5B-Instruct接收方在MMLU-Redux基准测试中达到78.04%的准确率，远高于其单独运行的37.45%以及使用重新分配消息时的36.40%。此外，在固定接口大小的情况下，将共享方模型从0.6B扩展至8B，准确率从46.11%提升至78.04%。该通信机制还能迁移至保留任务，并在双方持有不同证据时，实现超过任一单独模型的效果。

针对现有第一人称视频手部动作估算方法依赖级联独立估计器与SLAM系统、导致误差累积及计算开销大的问题，研究团队提出了InfiniHand。这是一个端到端的流式前馈框架，能够直接从未经标定的第一人称视频中联合估算MANO参数、相机轨迹及手部位置。该架构通过整合持久时空记忆与以手部为中心的视觉特征，在统一框架内显式耦合相机运动与局部手部几何。InfiniHand采用两阶段渐进式训练：首先学习鲁棒的相机空间手部先验，随后扩展至流式世界空间重建。为支持训练，研究团队聚合了来自多个公开数据集的约5000小时第一人称视频预训练语料。评估结果显示，InfiniHand在域内基准测试中优于现有最先进基线，相比ViDiHand将ARCTIC PA-p指标降低了21.4%，并显著缓解了世界空间漂移。此外，该模型在野外视频上表现出鲁棒的泛化能力，运行速度达到11.19 FPS，吞吐量是HaWoR的两倍以上。

在人形机器人执行移动操作任务时，物理接触往往决定了机器人的响应方式。然而，仅依靠视觉和本体感觉通常不足以准确描述物理交互，特别是在接触区域被遮挡的情况下。与仅在预定义区域测量稀疏力或扭矩不同，分布式触觉传感能够保留机器人全身的空间分辨接触模式。为此，研究团队提出了Uni-VLaT方法，旨在将这种全身触觉信息整合到视觉-语言-动作（VLA）策略中，以应对富含接触的控制场景。

Uni-VLaT引入了一条触觉通路，其潜在状态不仅用于生成动作，还用于预测未来的触觉、本体感觉和视觉表征。这种预测目标构建了一种以触觉为锚点的多模态上下文，鼓励模型对物理世界形成更结构化的理解。研究在五个真实机器人任务上评估了该方法，涵盖触觉触发的移动、持续物理交互、人机接触以及移动操作。结果显示，Uni-VLaT的平均成功率为75%，比无触觉输入的基线高出43个百分点，比无预测监督的触觉输入基线高出7个百分点。

在两个预训练VLA骨干网络上，该方法在“扫桌”任务上均提升了30个百分点，在“背部敲击行走”任务上提升了85至90个百分点。消融实验进一步表明，上下文触觉预测和绝对未来目标对性能至关重要。这些结果表明，预测性触觉学习为扩展预训练VLA策略以支持全身物理交互提供了一条有效途径。

大型语言模型通常采用自回归方式逐词生成文本，而块扩散语言模型通过顺序生成块并在块内并行去噪多个词元，为加速生成提供了新路径。近期研究通过蒸馏将预训练的自回归模型转化为块扩散模型，其中在线策略蒸馏因能基于学生模型当前策略生成的状态进行监督，减少了训练与生成间的差异。然而，这种设置存在根本性的监督不匹配：块扩散学生模型在预测时利用了块内可见的未来上下文，而标准的自回归教师模型仅基于因果前缀定义目标分布，导致教师提供的监督信号与学生实际可见的信息不对齐。为此，研究人员提出了d-OPD，一种具备未来感知能力的在线策略蒸馏方法。该方法通过纳入块内可见的未来信息来修正自回归教师分布，使其更好地与学生可见的状态对齐，从而提供更匹配的监督信号。在Qwen3系列0.6B至8B模型上的测试显示，d-OPD在六个基准测试的平均得分上比OPDLM最高提升4.0分，并将训练时间缩短了1.35至1.58倍。相关代码已公开。

针对稀疏图像新视角合成中需兼顾已观测区域重建与未观测区域合理补全的挑战，研究团队提出了GeoVerse框架。现有基于几何的方法虽能保留场景结构，但在补全未见区域时往往表现不佳；而视频生成模型虽提供丰富外观先验，但在顺序生成视角时容易积累不一致性。GeoVerse通过在预训练3D基础模型的几何潜空间中进行生成，并注入来自视频生成模型的外观先验，旨在合成具有世界一致性的新视角。具体而言，该框架从Wan2.2 VACE中提取多级特征，并通过类似ControlNet的适配器将其注入几何潜扩散模型，利用视频学习的外观先验增强结构补全能力。为确保跨视角连贯性，GeoVerse引入全局空间记忆机制，持续聚合已观测和合成的内容，并将目标对齐的引导重新投影，以将后续预测锚定在共享的场景表示上。在多个数据集上的广泛实验表明，与GLD相比，GeoVerse在视觉质量和几何一致性方面均有提升，在DL3DV数据集上PSNR提高了2.23分贝，在Mip-NeRF360数据集上ATE降低了32.4%。

针对现有从人类到仿真再到机器人（Human2Sim2Robot）流程难以适应多样物体属性及交互的问题，研究人员提出了名为DexAgent的智能体框架。该框架旨在将单个人类第一视角视频和任务提示转化为用于策略训练的、具有物理基础的机器人轨迹。DexAgent通过语义理解、基于属性的仿真重建、机器人轨迹优化及机器人数据生成四个阶段运作。在每个阶段，它根据任务和物体属性从工具库中选择合适技能，或在必要时开发新技能。此外，特定属性的验证器会评估各阶段结果，确保物理有效性和任务特定需求，并提供反馈以进行优化，从而防止错误在工作流中传播。这种自适应且由验证引导的过程使DexAgent能够处理多样化物体和长时程任务。在最后阶段，DexAgent通过在仿真中变化物体和机器人状态，从单个人类视频中生成多样化的机器人轨迹，并对渲染观察进行重纹理处理以促进仿真到现实的迁移。新开发的技能和验证器会被保留在工具库中，使系统具备自我进化能力，积累可复用能力，从而随着处理更多人类视频而减少处理时间。在十一个真实世界任务中，使用DexAgent生成数据训练的策略，其成功率比竞争基线高出3.5倍。

统一多模态模型具备查看和渲染图像的能力，理论上可通过诊断错误、修订并观察结果来修复自身生成内容。由于修订效果仅在渲染后可知，反思文本与图像生成需联合学习。现有监督微调虽能提供冷启动，但难以发现高成功率修复路径；仅优化渲染器或单一模块的强化学习则未能充分利用增益。研究提出UMM-Reflection方法，在单一统一模型内对完整反思轨迹应用强化学习。该方法通过共享初始图像的兄弟轨迹比较反思策略，利用轨迹级优势同时更新反思令牌和基于流的修订，避免了逐轮信用分配的复杂度爆炸。与单轮编辑或依赖外部批评者的流水线不同，该机制使信用跨轮次流向同一模型的两种角色，且推理时无需验证器。在BAGEL模型上，UMM-Reflection相比监督微调将GenEval分数提升12.05分，且增益迁移至未用于训练的WISE（+10.97）、OneIG-Bench（+3.48）及T2I-CompBench++（+4.63）。

针对现有基础模型通常采用共享机制处理异构模态、忽视内生与外生模态在预测中不同角色的问题，研究人员提出了QiYao-M，一种具备角色感知能力的多模态时间序列基础模型。该模型将两类模态分开建模：针对内生模态，引入内生多模态预测器和监督机制，旨在从历史数据中显式学习其随底层时间动态的演变过程；针对外生模态，考虑到预训练数据稀缺，提出外生多模态检索增强器，允许在不更新基础模型参数的情况下实现下游快速适应，并通过内生模态代理训练来训练该检索模块，无需外生多模态预训练数据。在单模态和多模态基准上的广泛实验表明，无论是否存在外生模态，QiYao-M均展现出强大的预测性能。

循环Transformer通过复用层进行潜在计算，展现了良好的参数效率。然而，现有研究多关注匹配参数量或每Token浮点运算次数（FLOPs）下的表现，对于循环机制在输出变长时是否改善测试时扩展性（Test-Time Scaling）尚缺乏深入探索。本研究通过后期训练循环Transformer，分析了精度随测试时解码FLOPs翻倍而增长的斜率。研究发现，现有循环Transformer通常比非循环基线具有更陡峭的精度-计算斜率，但在相同计算量下表现往往不及基线。分析表明，固定深度的循环机制在每个Token上都消耗额外迭代，但许多Token并未从中受益。为此，研究团队提出了TaH2模型，旨在让模型将额外迭代集中在真正受益于循环的Token上。TaH2通过前视深度监督（lookahead depth supervision）联合后期训练骨干网络和迭代决策器，利用在线标签判断进一步迭代是否能改善预测。在具有挑战性的AIME基准测试中，TaH2相比非循环基线将精度-计算斜率提升了53%（2.74对比1.79），并在匹配测试时计算量的情况下，峰值精度高出基线约3.4分。随着最大迭代深度增加，现有循环模型的性能大多趋于平稳，而TaH2相对于非循环基线的优势持续增长，从深度2时的+2.8分提升至深度8时的+3.9分。

针对交互式世界模型难以同时兼顾实时响应与长时程一致性的问题，研究团队提出了WorldPlay2。该模型通过结合因子化混合控制接口、压缩记忆机制及稳定蒸馏技术，旨在解决异构控制建模困难、上下文爆炸及蒸馏不稳定等挑战。在控制方面，WorldPlay2整合了帧对齐的动作控制与结构化语义控制，明确解耦场景外观、角色身份及动态语义事件，从而促进有效的控制学习。为实现高效的长时程建模，该模型将历史上下文压缩为紧凑的记忆令牌，供自回归学生和双向教师共享。这种设计允许进行基于片段的、以记忆为条件的分数评估，而非联合处理整个长序列，从而显著降低了蒸馏开销。此外，研究引入了Stable Forcing策略，通过少步初始化自回归学生并利用完整序列回放，确保长时程滚动的质量，实现稳健且稳定的蒸馏过程。实验结果表明，WorldPlay2具有强大的泛化能力，且性能优于现有方法。

研究人员提出名为RoboICL的机器人控制框架，旨在利用通用视觉语言模型GPT-6 Astra实现零样本机器人控制。尽管该模型在开放式操作任务中表现优异，但在高精度和长时程任务上仍存在明显短板。RoboICL无需针对特定机器人更新参数或训练专门的视觉语言动作模型，而是通过区分“演示上下文”与“交互记忆”来缩小性能差距。演示上下文提供可用的记录示例，而交互记忆则积累模型自身的动作及观察结果，两者共享统一的观察-动作-回执-观察语法结构。为保留跨任务阶段的经验，该框架结合采样的演示块与有界锚定记忆：固定锚点确保早期交互可用于上下文学习，最新交互则支持即时错误修正。在RoboDojo的30项任务测试中，除开放式任务采用零样本外，其余任务使用单样本演示，RoboICL在所有类别中均比官方零样本基线高出20至27个进度分。它在记忆和开放式任务中领先于排行榜基线，在精度任务上与最强基线相当，并在长时程任务中保持竞争力。其30项任务总体得分为50.64，高于最强基线的33.68。在另一组10项任务子集中，其得分为60.60，与混合方法仅差2分。在三个真实机器人任务中，平均进度从零样本的14.45提升至单样本的63.33和三样本的78.89。此外，在两个开发任务中，可选的动作重用机制减少了33%至48%的模型调用次数。

机器人从少量演示中学习时，通常面临组合泛化与技能泛化两大挑战。前者指重组技能以解决新任务，后者指技能策略在新情境下的适用性。这两者相互依赖，但现有方法中，组合层往往仅通过名称或指令等描述调用技能，忽略了策略训练时的结构信息，导致信息丢失。针对这一问题，研究提出了“智能体先验引导策略学习”（APPL）框架。其核心思想是将每个策略的“结构先验”作为组合层与技能层之间的接口。结构先验描述了行为依赖的关键因素，例如抓取动作仅依赖夹爪相对于物体的姿态。这一先验在训练阶段塑造策略的泛化范围，在语言层面则告知组合层该策略的适用边界。在APPL中，构建智能体将完整演示分割为可复用技能，为每个技能提出多个结构先验，并针对每个先验训练和验证一个策略。运行时智能体则根据任务目标，利用这些接口选择并组合特定的先验策略。在MetaWorld和长时程ManiSkill任务中的实验显示，APPL提升了分布外技能泛化能力，并实现了此前未见过的技能组合。消融实验表明，移除接口信息会显著降低性能。这些结果支持将训练时的结构假设作为连接技能学习与技能组合的桥梁。

在机器人模仿学习领域，一个长期存在的难题是：任务语义与硬件视觉几何深度纠缠，导致模型难以在不同机器人平台之间泛化。研究者提出了一种以交互为中心的框架，试图从根本上解决这一问题。

该框架的核心思路是利用双指夹爪的共享结构，通过参数化的通用夹爪抽象，构建出一个规范的夹爪坐标系表示。这意味着，无论机器人外观如何不同，只要末端执行器是双指夹爪，就能映射到同一套表示空间中。

在感知层面，系统接收语言指令和RGB-D观测数据后，由视觉语言模型推断当前子任务，并定位出一个“交互三元组”——夹爪、被持物体和目标物体。为了减少对视觉语言模型的频繁查询，研究团队引入SAM 2.1进行掩码跟踪，从而降低计算开销。

在特征设计上，他们提出了一种简洁的混合特征方案：一方面利用目标和碰撞人工势场提供全局引导，另一方面通过分割后的夹爪坐标系点云捕捉局部几何信息。动作生成则由Flow-Matching Transformer完成，输出平滑的7自由度动作序列。

实验覆盖了仿真环境和真实世界任务。结果显示，这是首个在模仿学习框架下，同时做到两件事的方法：一是在基准测试中取得有竞争力的分数，二是实现极端的跨本体、跨视角零样本仿真到现实迁移——并且迁移目标是完全不同的异构机器人平台。

这项工作的意义在于，它没有试图为每个机器人单独定制表示，而是从交互本身出发，找到了一种硬件无关的通用语言。当机器人不再被自己的“身体”所困，迁移学习的天花板或许才真正被打开。

在建筑工地上，移动机器人要完成巡检或数字化任务，首先必须解决一个核心问题：如何在全局参考系中，相对于建筑网格模型，可靠地确定自己的位置。然而，建筑环境往往存在大量相似的房间布局和缺乏纹理的表面，这让现有的激光雷达和视觉定位方法频频失效。

针对这一难题，研究团队提出了一套基于激光雷达的全局重定位系统。它的核心思路是：让机器人相对于建筑网格模型来估计自身位姿，并将PointNet++编码器与一个场景识别解码器相结合，解码器的输出作为蒙特卡洛定位框架中的学习观测模型。整个流程有一个显著特点——训练数据完全来自合成激光雷达扫描，这些扫描是通过在建筑网格内部模拟机器人传感器生成的，不依赖任何真实场景标注。

为了让系统在模糊环境中保持稳健，团队设计了一个不确定性感知解码器，能够对位置似然进行缩放；同时引入了一种重采样策略，将模型假设注入粒子集合，从而在粒子耗尽时仍能恢复定位。这种机制有效解决了传统粒子滤波在复杂建筑环境中容易“迷失”的问题。

在真实世界数据集上的评估结果显示，该方法不仅优于基于扩散模型的基线和ScanContext++基线，还保持了极快的推理速度——每次调用仅需18毫秒。这意味着，用合成数据训练、以网格为参考的全局定位方案，在建筑机器人领域具有切实可行的应用前景。

当机器人不再依赖昂贵且难以获取的真实标注数据，而是通过虚拟环境中“自学”来理解建筑空间，建筑工地的自动化巡检与数字化或许将迎来一次真正的效率跃升。

当你观看一段多人对话的视频时，大脑会自然而然地判断出“谁在说话”——是左边那位穿红衣服的女士，还是右边戴眼镜的男士。这个看似简单的判断，背后其实涉及文字、声音、画面三种信息的协同处理。然而，当前最先进的音视频大语言模型（AVLLM）在面对这类多说话人对话场景时，却频频“翻车”。

一项最新研究系统性地揭示了这些模型内部处理“谁说了什么”的机制。研究者发现，AVLLM并非像人类那样直接进行跨模态感知，而是在内部悄然形成了一套“符号化”的绑定机制。具体来说，模型会将听觉信息编码为时间维度上的话语序列符号，将视觉信息编码为空间维度上的实体坐标符号，然后在一个抽象的符号空间里完成跨模态的关联匹配。换句话说，模型是在用一种“翻译”的方式，把声音和画面各自转写成内部符号，再尝试将两者对齐。

研究进一步揭示了一个关键瓶颈：当这种三模态绑定失败时，问题几乎总是出在音频与视觉之间的连接上，而非文字层面的理解。也就是说，模型“听”到了声音，“看”到了画面，但没能把两者正确对应起来——它知道有人在说话，也知道画面里有几个人，但就是搞不清楚究竟是哪个人在开口。

为了解决这个问题，研究团队提出了一种巧妙的方法：借助一个现成的“主动说话人检测”（ASD）模型，在视频中主动说话的人身上叠加视觉边界框，相当于给模型一个明确的视觉提示——“看，就是这个人在说话”。这种无需额外训练的方法，在四个以对话为核心的基准测试中立刻带来了性能提升。更令人惊喜的是，仅需不到300步的轻量微调，这种方法的增益就能扩展到三个通用的音视频基准任务上，显示出良好的泛化能力。

从“谁在说话”这个人类几乎不费吹灰之力的问题出发，这项研究不仅揭开了AVLLM内部三模态绑定的神秘面纱，还用一个简单而有效的提示策略，为多说话人视频理解打开了一扇新窗。当模型学会把声音和画面正确“对号入座”，它离真正看懂一段对话，或许就不远了。

在物理学中，重整化群是连接统计力学与量子场论的核心概念，但长期以来，场论与多体物理中使用的重整化方案却大相径庭。一项新研究尝试弥合这一分歧，将威尔逊重整化群重新表述为一种量子信道。这一表述的巧妙之处在于，其Kraus表示能够为纯态输入给出纯粹的条件轨迹，而在取平均后又能自然恢复混合态的流。

研究进一步提出了一个代数扩展框架，使其不再局限于传统的动量空间与因子化设定。具体而言，低能代数由单粒子谱构造而成，而粗粒化过程则被理解为向该代数上的条件期望。这意味着，重整化不再必须依赖动量空间的特殊结构，而可以在更一般的代数框架下操作。

在此基础上，研究者构建了重整化群的资源理论，其中自由态被定义为不动点。在特定假设下，沿着二维红外不动点附近单一稳定重整化方向，所得到的相对熵单调量在二次阶上与c减去c_IR成正比。这一结果将信息论中的相对熵与共形场论中的中心荷联系起来，为重整化流提供了新的定量刻画。

此外，研究还引入了一个互补性的度量，用于描述粗粒化过程中被丢弃的紫外信息，并证明了该度量在逐次粗粒化映射下的单调性。最后，作者讨论了这一度量在全息框架下的可能实现方式。

从量子信道到代数扩展，再到资源理论与全息实现，这项工作为重整化群提供了一个统一而富有弹性的语言。它提醒我们，粗粒化不仅是物理尺度的简单丢弃，更是一场关于信息如何被重新编码的深刻对话。

在人工智能领域，如何让模型像人类一样在训练中不断自我提升，一直是个核心难题。传统方法中，学生模型通过模仿一个固定的“老师”来学习，但这个老师从头到尾一成不变，学生进步了，老师却还在原地踏步。一项最新研究打破了这一僵局。

研究团队聚焦于一种叫“在策略蒸馏”的技术。简单来说，学生模型先自己解题，然后对照老师的答案逐字逐句地修正。后来，有人提出“在策略自蒸馏”，干脆让同一个模型的另一个冻结副本来当老师，这个副本能看到正确答案，而学生只能看到题目。这样做省去了外部老师，训练也更稳定。但问题在于，老师被冻结了，学生学到的新本事没法反哺给老师，老师的水平就卡住了。

为此，研究者提出了一个递归框架，包含两个互补的设计。第一，让那个拥有特权的老师模型和学生一起进化，学生这一轮学到的修正，可以指导下一轮的教与学，他们称之为“动态协同进化”。第二，他们发现，如果一味追求更强的修正能力，模型的回答会变得又长又啰嗦，还老爱自我批评。于是他们又加了一个目标，叫“自精炼简洁学习”，专门训练模型把自己那些冗长的回答改写成更短、更准确的版本。

在多个模型规模和四个竞赛级数学基准上，这套组合拳都打败了原来的自蒸馏方法。以Qwen3-8B为例，新方法在Average@12指标上达到65.97%，比原方法高出35.62个百分点，同时平均输出长度还比只用动态协同进化时缩短了7.80%。

这意味着，模型不再只是被动地模仿一个静止的老师，而是能在教与学的循环中共同成长，并且学会用更精炼的语言表达更准确的推理。当AI开始既当学生又当老师，还能互相促进时，我们离真正会“自我修炼”的智能或许又近了一步。

当AI智能体不再只是聊天，而是能修改文件、调用API甚至执行代码时，安全问题就变得格外棘手。想象一下，一段恶意内容悄悄改变了智能体的工具使用方式，或者底层软件中藏着路径遍历、命令注入等漏洞——这些都可能让智能体在不知不觉中成为攻击者的帮凶。针对这一挑战，研究者提出了AgentXploit，一个专门用于AI智能体部署前安全审计的双角色系统。

AgentXploit的核心思路是将审计过程拆分为两个独立阶段：仓库级攻击路径发现和运行时漏洞利用。第一个角色“分析者智能体”负责在目标代码仓库中追踪攻击者可控的输入，找到它们流向敏感操作的路径，并记录下所有有代码支撑的候选攻击路径。第二个角色“利用者智能体”则将这些理论路径转化为实际攻击，并利用运行时反馈不断修正攻击策略。这种分工明确的设计，让仓库发现和运行时利用这两个截然不同的挑战各归其位。

为了系统评估这一方法，研究团队构建了AgentXploit-Bench基准测试集，涵盖12个开源AI智能体系统和框架中的72个可复现漏洞。在三次运行中，AgentXploit实现了59.3%的端到端攻击成功率，而对比系统Codex仅为38.4%。即便在token预算匹配的条件下，Codex的成功率也只达到46.3%。在注入点已明确给出的AgentDojo测试环境中，AgentXploit的利用者智能体达到了79.2%的攻击成功率，远超AgentVigil的52.7%。

这些数据揭示了一个关键洞察：在AI智能体的端到端安全审计中，仓库层面的漏洞发现与运行时层面的攻击利用是两个本质不同的难题。只有将二者分开处理、协同配合，才能更有效地识别和验证真实世界中的安全风险。随着AI智能体越来越多地融入日常工具链，这样的审计思路或许将成为部署前不可或缺的一道防线。

长上下文语言模型的发展一直受困于自注意力机制的二次方计算成本。当序列长度增加时，传统注意力需要计算所有查询与键之间的配对分数，计算量呈平方级增长，成为扩展模型上下文窗口的核心瓶颈。块稀疏注意力被视为一种高效的替代方案，它只保留部分关键块进行计算，但问题在于：如何选出这些块？传统方法仍需对所有查询-块对逐一打分，选择过程本身就是二次方的，等于没有真正解决问题。

针对这一困境，研究者提出了PISA——一种采用金字塔式Top-K选择策略的块稀疏注意力机制。其核心思路是“逐层缩小候选范围”：不再一开始就对所有键进行精确打分，而是构建一个从粗到细的键层级结构，从最粗的层级开始筛选。每一层只对有限数量的候选集应用LogSumExp打分，选出优胜者送入下一层更精细的候选集，如此反复，直到最细层级。通过池化操作，整个层级结构共有O(log N)层，最终将整体计算复杂度控制在O(N log N)，其中N为序列长度。这意味着注意力计算从二次方降到了近线性。

为了让这一机制真正落地，研究团队还开发了硬件感知的Triton内核，覆盖训练和推理两个阶段。这些内核将层级路由和LogSumExp打分融合在一起，无需显式生成庞大的查询-键分数矩阵，从而大幅节省显存和计算资源。

在语言建模任务的评估中，PISA交出了令人关注的成绩单：在常识推理等基准测试上，它与基线方法表现相当；而在检索任务上，它取得了更好的结果。这表明，通过金字塔式逐层筛选，模型既能保持通用语言理解能力，又能在需要精确定位信息的场景中表现更优。

从二次方到O(N log N)，从全量打分到逐层筛选，PISA提供了一条在效率与性能之间取得平衡的路径。当上下文窗口不断被推向更长，如何“聪明地选择”而非“蛮力地计算”，或许才是解锁下一代语言模型的关键。

在图像生成领域，表示自编码器（RAE）一直扮演着关键角色。它的核心思路是复用预训练视觉编码器提取的特征，将其同时作为重建目标和扩散潜变量，从而把强大的视觉表示能力注入到图像生成过程中。然而，一个看似简单却影响深远的问题始终困扰着研究者：到底该用编码器的哪些层来构成这个共享的潜空间？

这个选择之所以棘手，是因为它天然存在一个两难。较浅的层更擅长保留精细的像素细节，重建质量更好；较深的层则倾向于带来更优的生成指标。换句话说，重建和生成这两个阶段，各自“偏爱”不同深度的信息。以往的做法是人为设定一个固定的层融合策略，但这等于用同一个选择去同时满足两个需求不同的阶段，矛盾不可避免。

针对这一问题，研究团队提出了FuseReg。它的核心创新在于：不再依赖启发式的固定层选择，而是在编码器各层的随机子集上进行训练。研究者在理论层面分析了这一机制的内在原理——子集采样实际上是在显式地惩罚模型对跨层不一致性的敏感度，迫使解码器学会在层融合方式发生变化时依然保持稳健。

实验数据给出了有力的验证。在ImageNet-256数据集上，使用DINOv3-L编码器时，一个经过FuseReg训练的解码器无需重新训练，就能同时从完整融合、稀疏融合和单层融合中完成重建，并且PSNR指标超过了那些专门为固定融合方式定制的解码器。这种灵活性同样惠及生成任务：在RAEv2 DiT-XL生成器保持不变的情况下，仅替换解码器就将无引导gFID降低了27%。更进一步的实验表明，这一正则化原则可以扩展到扩散训练中——对两个阶段联合施加正则化后，在DiT-Base上无引导gFID降低了29%。

值得注意的是，所有这些改进都没有触碰预训练编码器本身。这意味着，通过训练下游模型使其具备对层融合的鲁棒性，就能有效缩小重建与生成之间的鸿沟，而无需修改上游的表示学习过程。

这项工作的启示或许在于：当我们面对看似不可调和的权衡时，与其在两端之间寻找一个固定的折中点，不如让模型学会在变化中保持稳定。真正的灵活性，往往比精确的静态优化更有生命力。

机器人操作领域长期面临一个核心难题：如何将大规模预训练模型中的视觉动态、场景语义、几何与运动先验整合到一个统一框架中，用于生成精准的机器人动作。针对这一问题，研究团队提出了InternW0-Δ，一个在异构数据语料上预训练的统一世界动作模型，在仿真基准和真实机器人平台上均超越了此前的方法。

InternW0-Δ的核心思路是将多种预训练能力融合进一个基于混合Transformer（Mixture-of-Transformers，MoT）的框架。具体来说，一个预训练的视频专家和一个动作专家在一个冻结的视觉语言模型（VLM）的语义指导下进行交互；同时，一个预训练的4D基础模型通过仅训练时蒸馏的方式，向框架注入几何与运动先验。这种设计让模型既能理解场景的视觉动态，又能生成合理的动作序列。

研究团队还引入了一项名为“因果印记”（Causal Imprint）的技术。它通过仅训练时的未来监督来学习与未来相关的场景变化，并将这些预测性表征直接提供给动作专家，而无需在推理阶段进行未来视频的展开生成。这意味着模型在部署时更加高效，不需要额外的视频预测步骤。

为了支撑大规模联合训练，团队构建了一个异构数据语料库，涵盖机器人演示数据、UMI数据、第一人称人类演示数据以及Ego2Robot数据，并在统一的状态-动作表示下进行了整理和对齐。最终，这个语料库包含超过2万小时的处理后训练数据，据团队所知，这是同类开源语料中规模最大的。

基于这一语料库，InternW0-Δ完成了预训练，并在多个仿真基准和真实机器人平台上展现出强劲性能。团队表示，将在许可允许的范围内开源训练代码、模型权重、基础设施、数据处理管线以及处理后的数据。

从视觉动态到动作生成，从仿真环境到真实平台，InternW0-Δ试图打通机器人操作中“看懂”与“做到”之间的壁垒。当2万小时的数据与多种预训练先验汇聚于一个统一框架，机器人离真正理解并执行复杂操作任务，或许又近了一步。

语言模型内部到底发生了什么？这个问题一直困扰着可解释性研究者。现有的归因方法要么计算成本高得离谱，要么难以真正找到对模型输出起关键作用的内部计算。一篇新论文提出了一个巧妙的思路：把归因问题重新定义为寻找一组嵌套的内部组件子集，使得下游损失最小化。

为了学习这个任务，研究者提出了Matryoshka Attribution（简称MAttr），一种掩码学习方法。它的核心设计是用一个简单的可微分sigmoid top-k算子来参数化掩码，并在训练过程中随机化k值，从而同时对所有稀疏度进行监督训练。这样做的结果是，模型能够自动学习出按归因分数排列的组件顺序，就像俄罗斯套娃一样，一层套一层地揭示哪些部分最重要。

MAttr在Mechanistic Interpretability Benchmark官方排行榜上取得了第一名的成绩。它能够在不同的电路基上识别出稀疏且可跨任务迁移的电路，这意味着它找到的不只是针对单一任务的解释，而是具有通用性的内部计算结构。

更令人兴奋的是实际应用层面。研究者展示了MAttr可以通过强化学习来训练，用于识别大语言模型微调过程中导致下游行为变化的权重变化。他们以拒绝回答评分作为训练信号，发现只需将Llama 3.1 8B Instruct中1%的权重恢复到基础模型状态，就足以消除模型的拒绝行为，同时保持其能力不受影响。换句话说，模型“拒绝回答”这件事，可能只由极少数权重决定。

这项工作将可解释性问题成功转化为一个可用梯度下降求解的学习目标，为未来的研究开辟了一条新路径。

当我们还在争论AI是否真的“理解”时，或许更务实的问题是：我们能否让AI自己告诉我们，它是怎么想的？

在机器人学习领域，行为克隆一直面临着一个两难困境：要么将演示数据压缩进大型神经网络，牺牲可追溯性；要么依赖检索式策略，却难以应对记录行为与实时行为之间的偏差。如今，一种名为“行为预测控制”（Behavior Predictive Control，简称BPC）的新方法打破了这一僵局。

BPC的核心思路源于行为系统理论。它不做端到端的策略训练，而是通过三个关键组件协同工作：一个动作感知的检索度量、一个基于Hankel矩阵的动作延续先验，以及一个闭式单步残差校正。简单来说，BPC会从存储的“观测-动作”数据中，找出最能重建当前运行时观测-动作历史的数据片段，然后混合这些片段来预测未来的动作。

这种方法的效果如何？研究团队在模拟基准测试和真实机器人部署中进行了验证。结果显示，BPC的表现与经过学习的策略（如π₀.₅）相当，在某些情况下甚至更优。更令人印象深刻的是效率的提升：策略拟合时间从数小时缩短到在消费级GPU上仅需数秒，并且能在Jetson Orin Nano上实现高达75赫兹的闭环控制。

BPC还有一个独特的优势：由于演示数据始终保留在部署策略中，其预测可以追溯到具体的支持轨迹。这意味着当策略表现不佳时，开发者可以通过演示库直接进行行为修正，而不是重新训练整个模型。此外，检索到的演示窗口及其系数还能提供任务进度的内在估计。

这项研究为机器人策略学习提供了一条新路径：不追求将一切压缩进黑箱模型，而是让演示数据在推理时持续发挥作用，兼顾性能、效率与可解释性。当策略的每一次预测都能追溯到具体的演示片段，我们离真正可信赖的机器人学习或许又近了一步。

人形机器人能跑酷、能翻越障碍，看起来已经足够灵巧。但任务完成的背后，往往隐藏着生硬的落地、危险的边缘接触和不稳定的支撑——这些问题在演示视频里容易被忽略，却直接影响机器人在真实环境中的安全与寿命。

人类走路时，脚底会自然感知地面软硬，随时调整踩踏力度，让落地更柔和、站立更稳。这种能力依赖的是丰富的触觉反馈。而大多数人形机器人恰恰缺少这一环：它们没有脚底压力感知，只能靠视觉和本体感觉“盲踩”，自然难以像人一样精细地调节脚与地面的交互。

针对这一差距，研究者提出了TactileStep——一个可部署的触觉学习框架，把脚底压力传感引入人形机器人的运动控制中。它的核心思路是让仿真中的触觉信号与真实压力鞋垫对齐，使策略在训练时学到的接触特征，和硬件上实际能获取的信息保持一致。这样一来，机器人就能在仿真中学会“踩得轻、站得稳”，并直接迁移到真实机器上。

训练过程中，TactileStep利用触觉和运动线索识别不同的脚部接触阶段，并施加阶段感知的奖励机制：在落地阶段鼓励更安全的触地，在支撑阶段鼓励更稳定的站立。换句话说，机器人不仅知道“脚碰到了地面”，还知道“现在处于落地的哪个阶段、该怎么用力”。

在仿真和Unitree G1人形机器人上，研究团队在多种地形中进行了评估。结果显示，与一个强大的感知基线相比，TactileStep将峰值触地力降低了最多48.8%，峰值A计权冲击噪声降低了最多30.1分贝，同时将支撑接触面积增加了最多23.8%。这意味着机器人落地更轻、更安静，站立时脚底与地面的接触也更充分、更稳定。

这项工作的意义不止于让机器人“动作更漂亮”。当人形机器人走出实验室，面对楼梯、碎石、斜坡等复杂地形时，每一次生硬落地都可能积累成硬件损伤，每一次边缘接触都可能演变为摔倒。让机器人拥有脚底触觉，并学会像人一样调节踩踏，是迈向真正可靠、耐用的人形运动的关键一步。

从视觉到触觉，人形机器人的感知正在补上缺失的一环。当机器开始在意脚下每一寸土地的软硬，它才真正学会了“走路”。

在因果推断领域，从观测数据和干预数据中揭示变量之间的因果关系一直是一项核心挑战。然而，当存在潜在混杂因素和选择偏差时，传统的因果图模型——即有向无环图——已无法充分刻画观测变量之间的因果结构。这一问题在生物医学、基因组学等高风险领域尤为突出，因为错误的因果判断可能导致严重的下游决策失误。

针对这一难题，研究人员提出了一套全新的无模型统计推断框架，专门用于在潜在变量和选择偏差同时存在的情况下进行因果发现。该框架的核心创新在于引入了“系统诱导子图”这一概念，用以捕捉系统变量之间的因果关系，同时将上下文变量的影响纳入考量。研究团队通过最大祖先图建立了该子图的可识别性，并证明了一个关键结论：对每个观测系统变量进行单目标干预，足以实现因果结构的唯一识别，且在最坏情况下这种干预是必要的。

在具体方法上，该框架采用两阶段图推断流程，在保证第一阶段统计功效充足的前提下，实现了渐近族系错误率的有效控制。对于包含d_X个观测系统变量的场景，整个流程最多需要二分之五乘以d_X平方次统计检验，且每个阶段内的检验可以并行执行，计算效率显著优于现有方法。更重要的是，该框架达到了最优的约束查询复杂度，仅比理论下界多出一个常数因子。

与许多现有方法不同，这一框架不依赖参数化结构方程假设，因此具有更广泛的适用性。它能够兼容软干预——即不强制变量取特定值、而是改变其分布的干预方式，这在实际应用中更为常见和灵活。研究团队还将该方法应用于干扰素-β刺激的A549肺癌细胞系的Perturb-seq数据分析，展示了其在真实生物数据中的实用性。

这项工作为存在潜在混杂和选择偏差的高维因果发现问题提供了新的理论工具和实用方法。它不仅在统计推断的严谨性上有所突破，还在计算效率和实际可操作性之间找到了平衡。当因果发现从理论走向真实世界的复杂系统时，如何在不确定性中做出可靠的推断，仍然是每一个数据科学家需要直面的问题。

在AI安全领域，如何高效检测语言模型的对齐失败一直是个难题。现有的检测方法要么需要为每条标准单独进行一次解码，要么每次调用只能给出一个固定标签的评分，效率低下且成本高昂。如今，一个名为Jev的模型带来了新的可能性。Jev通过“校准决策强化学习”训练而成，能够在一次调用中以校准概率回答关于同一输入的多个类型化问题。然而，它能否有效检测对齐失败，此前从未被系统测量过。

为此，研究者推出了RLCDAlignBench，这是一个专门用于评估Jev在十种对齐失败场景下表现的基准测试。这十种失败包括：谄媚、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励黑客、隐瞒不确定性和权力寻求。该基准覆盖了44个基准测试和五个目标模型，标签由各基准的评分器提供，其中两个还引入了人工标注。

研究的一个关键洞察是：许多对齐失败是“关系性”的，即它们需要参照某个基准才能定义，比如用户的信念或注入的指令，而仅凭模型的回复本身无法揭示这些信息。因此，研究者的核心思路是将“问Jev什么”与“让Jev看到什么”分开处理：一边调整问题的措辞和答案类型，另一边调整输入中的字段。

结果令人振奋。一个通用的单一问题，在零样本条件下就达到了中位数0.886的AUROC，在大多数基准上超越了有监督的基线方法。问题的措辞影响不大，但上下文的影响更大，主要是通过那些编码了标签的字段起作用。Jev与人类标签的一致性达到了参考评分器的水平，还能揭示现有基准中的标签缺陷，并且成本比LLM评判评分器低63倍。

这项研究不仅展示了一种高效、低成本的对齐失败检测方案，还提醒我们：在AI安全评估中，如何提问和提供什么上下文，可能比模型本身的能力更值得深思。

在计算机视觉领域，点追踪模型一直面临一个两难选择：要么追踪少量查询点的长距离运动，要么在短片段中追踪所有点。这个矛盾困扰了研究者很长时间。如今，一项名为TrackEverything的研究打破了这一僵局。

研究团队的核心洞察来自一个朴素的事实：视频本质上是三维世界在二维平面上的投影。基于这一认识，他们提出了一种全新的3D点追踪器，将视频表示为世界坐标系中的持久3D场景轨迹。这一思路的关键突破在于，它让模型复杂度与视频时长解耦，转而与场景中独特的物理几何结构挂钩。换句话说，无论视频多长，只要场景中的物理结构不无限增长，模型就能保持可控。

为了实现这一目标，TrackEverything引入了三项关键创新。第一，在滑动窗口边界处采用基于体素化的去重机制，将位置重合的轨迹合并，防止同一表面的重复观测被反复累积，从而有效控制计算量。第二，将追踪任务分解为两个步骤：先由一个端点精化器预测每个点的目的地以及它是静态还是动态，再由一个轻量级轨迹精化器专门为动态点解码密集轨迹。第三，提出3D WAFT方法，用场景云中的高效特征采样替代内存消耗巨大的4D相关体积。

这些创新带来了令人瞩目的成果。据研究者称，TrackEverything是首个能在40GB GPU内存以内追踪超过1000帧视频中所有可见点的3D追踪器。在TAPVid-3D基准测试中，它在短片段上的APD指标超过所有开源全帧密集3D追踪器20%以上；在长序列上，尽管追踪的点数远多于其他模型，它仍能与最先进的稀疏追踪器保持竞争力。

从稀疏到密集，从短片段到长视频，TrackEverything用三维场景的视角重新定义了追踪的边界。当技术不再被时长束缚，而是回归物理世界本身的复杂度时，或许我们离真正理解视频中的运动又近了一步。