机器人终于不瞎抓了！港大阿里联手开源FineVLA：用哪只手、抓哪里，一句话全搞定

机器人模型已经能根据"把杯子放进篮子"这类指令完成任务，但用哪只手？

从哪个方向抓？抓杯身还是杯柄？——这些决定执行效果的关键细节，现有机器人数据集较少标注。

近日，来自香港大学 XLANG Lab 和阿里巴巴 Qwen 团队的研究人员提出了FineVLA，一个面向可控 VLA 策略的开源框架。

该框架让 VLA 模型不仅能完成任务，还能按照人类指定的方式完成任务——

用哪只手、从哪个角度接近、接触物体的哪个部位，都可以通过语言进行控制。

其最佳混合策略设置在 RoboTwin 仿真中达到86.8%/82.5%的成功率（比基线提升 +15.0/+11.1），在真实双臂机器人上达到62.7/100（Raw-only 为 49.9），姿态（+23）、颜色（+18）、接近方向（+18）等可控因素均有提升。代码、模型和评测基准均已开源。

背景：VLA 模型为什么还不够"听话"？

VLA（Vision-Language-Action）模型已能根据自然语言完成抓取、放置等操作，但一个长期痛点仍然存在：语言监督粒度太粗。

在图像生成和视频生成中，文字描述的细节会直接影响结果可控性；机器人策略学习也类似，只是语言需要约束真实动作过程。

同样是把勺子拿起来，不同轨迹可能用左臂或右臂、绕过障碍物或直线移动，但在数据集中往往共享同一条目标级指令。

这会带来监督歧义：模型能学到"最终要成功"，却难以从语言中学到使用哪只手、从哪个方向接近、接触物体哪个部位等执行约束。

目前多数机器人数据集仍缺少这种细粒度标注。

构建可控 VLA 系统面临三个核心挑战：

缺乏从异构数据到细粒度标注的基础设施；

缺乏评测机器人细粒度理解的基准和可扩展低成本标注器；

缺乏细粒度语言是否真的提升策略学习的系统性证据。FineVLA 框架逐一解决这三个问题。

技术方案

FineVLA 构建了一个动作 - 指令对齐的完整闭环，连接细粒度数据构建、机器人视频理解、可扩展标注和可控 VLA 策略学习。

左侧：FineVLA-Tool 从 10 个开源数据集统一异构机器人轨迹，通过聚类采样去除冗余演示，并沿十个细粒度维度为代表性轨迹标注动作对齐描述。

生成的 FineVLA-Data 支持 RoboFine-Bench（通过 Grounding VQA、ReasoningVQA 和 Caption 评测衡量细粒度机器人视频理解）和 RoboFine-VLM（面向机器人的专用 VLM 标注器）。

右侧：FineVLA-Policy 使用原始目标级指令与细粒度过程级指令的混合数据，在两种动作解码架构下训练，并在 RoboTwin 仿真和真实双臂操作中评测。

可控控制示例展示了细粒度语言如何指定接触区域、目标物体、执行臂、轨迹方向和失败恢复等执行敏感因素。

FineVLA 由四个核心组件构成，形成"数据—模型—评测—策略"的完整闭环。

FineVLA-Tool：97 万条轨迹到细粒度数据

FineVLA-Tool 通过四个阶段将异构机器人数据转化为高质量细粒度监督：

阶段一，格式统一：从 Bridge V2、BC-Z、RT-1、RoboMIND 等 10 个开源数据集汇总972247 条轨迹，统一转换为 LeRobot2.1 格式。

阶段二，动作规范化：将不同数据集各异的时间参考和运动学表示统一为绝对坐标 + 归一化四元数旋转，移除动作和状态差距过大的损坏轨迹。

阶段三，DTW 聚类去重：基于动态时间规整（DTW）计算动作轨迹相似度并层次聚类，从 97 万条中筛选出47159 条代表性样本，保留操作策略多样性。

阶段四，十维细粒度标注：按动作序列、执行体（左 / 右臂）、目标物体、接触与接近方式、轨迹方向、失败恢复等 10 个维度标注。先由 Qwen3.5-Plus 生成，再经人工审核验证。标注后平均词数从 9.3 增至 96.8（10.4 倍）。

RoboFine-VLM：让 VLM 学会描述机器人"怎么动"

通用 VLM 常漏掉物体歧义区分、接触区域、运动路径等执行细节。研究人员进一步对 Qwen3.5-VL-397B-A17B 进行全参数监督微调，并基于前述人工验证的细粒度指令得到RoboFine-VLM，能输出覆盖 10 个控制维度的步骤级动作描述，作为未来数据扩展的可扩展标注器。

RoboFine-Bench：评测细粒度动作理解

RoboFine-Bench包含 500 段视频、32 种机器人形态和 11631 个原子事实，与训练集严格不重叠，设有两个轨道：

VQA 轨道：包含 1030 道问题，沿标注的十个细粒度维度分布，汇聚为三个评测轴——实体与场景定位（Grounding）、动作与运动理解（Action）、交互与状态推理（State）。模型接收视频帧和全部问题，答案通过确定性匹配评分。

Caption 轨道：要求模型生成动作对齐的步骤级细粒度描述，由 LLM 评判模型输出与预提取的 11631 个原子事实的对齐程度，产出一致性（Consistency）、覆盖率（Coverage）和反幻觉（Anti-Hallucination）三项指标。设有两种模式：easy模式提供原始任务指令作为提示，hard模式则要求模型仅从视觉观察推断操作过程，不提供任何语言线索。

FineVLA-Policy：验证细粒度语言的策略收益

保持视觉观察和动作标签不变，仅改变配对语言（Raw-only vs FG-only vs Mixed），严格隔离语言监督效果。

为系统验证细粒度标注的有效性，实验设计了三种策略配置以分离架构与数据规模的影响：RDT-OFT与RDT-GR00T使用相同预训练数据、不同动作解码架构（OFTvsGR00T），RDT-OFT与AlohaMix-OFT使用相同架构、不同规模预训练数据（AlohaMix 约为 RDT 的 13 倍）。

每种配置均在七种 FG:Raw 指令比例下评估，确保结论不受特定架构或数据规模的影响。

实验结果模型理解能力

RoboFine-VLM 在 VQA 轨道取得68.2%准确率，超过最强通用基线 GPT-5.4（60.2%）+8.0个百分点；

Caption hard 设置下得到82.2%，超过 GPT-5.4（78.0%）。自动评分与人工排名高度一致（Spearman 0.943）。

仿真实验 RoboTwin

在 RoboTwin 上评估七种 FG:Raw 比例，揭示两个关键发现：

发现一：FG-only 在所有设置中均优于 Raw-only（增益 +1.4 到 +8.1）。细粒度监督不损害任务成功率。

发现二：成功率呈倒 U 型趋势，峰值在 FG:Raw=1:2 到 1:1。

最佳设置达86.8%/82.5%，比基线 +15.0/+11.1。Raw 告诉模型"做什么"，FG 告诉模型"怎么做"，两者互补。

真实机器人实验

在 CobotMagic 双臂平台上，研究团队设计了"配对评测"：同一视觉场景下，仅改变一个语言控制因素，观察策略是否按指令改变执行方式。下表为论文原文中的真实世界评分结果，所有分数均归一化到 100 分。

表中 Avg ( ID ) 表示 7 个 in-distribution 任务的平均分，Avg ( All ) 进一步计入 OOD L → R 组合探针。FG:Raw=1:1 在 Avg ( ID ) 上达到 62.7/100（Raw-only 为 49.9，FG-only 为 54.4）；计入 OOD 后，Avg ( All ) 为 56.1（Raw-only 为 43.6）。

在具体控制因素上，FG:Raw=1:1 相比 Raw-only 在颜色（22 → 40）、姿态（24 → 47）、接近方向（60 → 78）、旋转方向（76 → 86）和执行臂（60 → 64）上均有提升。较大增益集中在目标级指令未指定的因素上：姿态（+23）、颜色和接近方向（各 +18）。OOD L → R 要求机器人使用左手将物体放入右侧碗中，是训练中未见过的 actor-target 组合；该项从 0 提升到 10/100，提示混合细粒度监督带来一定的因子级泛化，但完整的组合式指令仍然具有挑战。

此外，细粒度监督还展现出 scaling 趋势：缩小架构差距（OFT vs GR00T 的 Easy/Hard 差距从 6.4/6.6 降至 0.8/0.5），且在更大数据规模下获益更多。

项目价值

FineVLA 的核心贡献不是给数据加更长描述，而是重新定义了 VLA 学习中的语言监督粒度，并给出了明确结论：细粒度语言应当增强而非替代目标级指令。

该框架为社区提供了四个可复用方向：

数据层：从异构数据到细粒度标注的完整构建流程

模型层：用于可扩展机器人视频细粒度标注的 RoboFine-VLM

评测层：用 VQA 和 Caption 衡量 VLM 对机器人视频理解与标注的 RoboFine-Bench

策略层：验证混合训练提升可控性的训练配方

机器人若要进入开放环境，仅听懂目标不够——它还必须听懂人类对"怎么做"的要求。

相关链接论文地址：https://arxiv.org/abs/2605.27284

项目主页：https://finevla.xlang.ai/

GitHub 仓库：https://github.com/xlang-ai/FineVLA

评测基准：https://huggingface.co/datasets/xlangai/RoboFine-bench

标注模型：https://huggingface.co/xlangai/RoboFine-VLM-397B-A17B

作者团队：Xintong Hu、Xuhong Huang、Jinyu Zhang、Yutong Yao、Yuchong Sun、Qiuyue Wang、Mingsheng Li、Sicheng Xie、Yitao Liu、Junhao Chen、Yixuan Chen、Yingming Zheng、Shuai Bai、Tao Yu †。* 共同第一作者；† 通讯作者。来自香港大学 XLANG Lab、阿里巴巴 Qwen 团队两家机构。

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生  � �

感兴趣的小伙伴欢迎关注 � �  了解详情

� � 点亮星标 � �

科技前沿进展每日见杠杆开户