具身智能落地：专用小模型为何比大模型更实际？

上周我陪一个学生调试他的第一台具身智能小车。硬件清单没什么问题电机、摄像头、机械臂都齐了唯独在树莓派内存上反复犹豫。他问4G够不够还是必须上8G我说先别急着买真正需要想的是你要在小车上跑什么模型。如果只是跑一个轻量感知模型4G也能用如果想在本地跑开源多模态模型8G也会紧张。这个问题背后其实是很多刚进入具身智能领域的人共有的误解以为机器人上有一个“大模型”就能搞定一切。这个误解不只是新手有。不少技术方案讨论也会把“具身智能”和“大模型”绑在一起好像只要做出一个通用的多模态大模型机器人就能自己理解世界、规划动作、操作物体。我的判断恰恰相反具身智能规模化落地大概率从那些看起来没有那么“大”的模型开始。我想从工程经验出发讲清楚为什么是“这样的模型”以及如何把“这样的模型”真正部署到一台小车或机械臂上。1. 别再说“跑一个大模型就能控制机器人”具身智能是分层系统1.1 大模型、VLA、世界模型说的不是同一件事“具身智能模型”这个词被用得越来越宽泛但细看会发现大家讨论的根本不是同一件事。语言大模型输出的是 token是文本不是关节角度不是夹爪开合指令。多模态大模型能描述画面、理解指令但它不会告诉你电机 PWM 该给多少。VLAVision-Language-Action模型试图把视觉、语言和动作串起来直接输出动作听起来很完整可一旦落到实时控制系统里延迟、安全和故障定位都会成为问题。VLA 大多基于 Transformer 结构能较好地融合视觉和语言特征但也正因为 attention 计算开销大部署延迟往往不低。世界模型则更远一些它要做的是对外部环境状态变化进行预测给规划器一个“如果执行这个动作下一步环境会变成什么样”的内部模拟而不是直接生成动作。这三类模型分别处在智能系统的不同位置。把它们混在一起很容易得出“只需要一个万能模型”的错误结论。1.2 机器人系统里的“模型”至少要分三层我在实际项目里更愿意把机器人上的智能系统拆成三层层级负责内容常用模型/方法部署位置感知层物体检测、分割、位姿估计、状态识别CNN、ViT、YOLO、SAM 类模型边缘设备或服务器决策规划层任务规划、动作序列、路径规划规则/状态机、LLM/VLA、搜索规划服务器或车载主机控制执行层关节运动、轮速控制、夹爪开合PID、MPC、强化学习策略、扩散策略MCU/实时控制器如果只用一个大模型端到端地做“从像素到电机指令”不是不可能但工程代价会非常高。任何一个环节出问题你都得从一整条网络里找原因。更稳妥的做法是分层感知模型负责“看见”决策模型负责“选”和“规划”控制算法负责“动”。每一层都能单独验证单独升级。很多人会问那具身智能的“智能”体现在哪里其实就体现在决策规划层如何把感知结果转化为任务目标以及控制系统如何把目标转化为稳定动作。模型越大不代表控制越稳。1.3 规模化落地里的“这样的模型”有三个共同特征回到标题里那句“这样的模型”。我理解的“这样的模型”不是指某一个网络结构而是指满足以下三个条件的模型任务边界清晰只解决一个明确任务比如“抓取红色积木放到左侧盒子”而不是“做任何家务”。数据闭环可建立观测、动作、结果反馈可以自动记录失败样本可以回流再训练。部署体量可控模型大小、推理延迟、计算资源能在真实设备上承受不能只活在 GPU 服务器上。这三个条件看起来平平无奇但它们共同决定了一个模型能否在真实物理环境里反复验证、迭代、维护。没有任务边界数据就是散的没有数据闭环模型只能越用越旧没有可控的部署体量规模化就无从谈起。2. 通用世界模型是终局而不是第一站2.1 为什么世界模型离落地还远世界模型是很多人心中的终局形态让机器人自己建立对外部世界的预测规划时在脑子里模拟各种动作后果。这个方向很有吸引力但离规模化落地还差好几道门槛。核心瓶颈有三个。第一是数据。语言模型可以从互联网抓取海量文本机器人模型却不能直接拿互联网视频当操作数据。真实机器人需要和环境发生物理交互才能得到数据而一条可用的操作轨迹往往要经过遥操作、仿真采集、人工标注成本远高于文本数据。第二是验证。世界模型预测的是未来状态可环境变化有很强的随机性。模型预测“物体应该在这里”但一旦遇到摩擦、遮挡、光照变化误差就会累积。在仿真里验证得很好不代表在真机上也能稳定。第三是安全。物理系统不允许随意试错。语言模型说错一句话用户可以忽略机器人执行错一个动作可能撞坏设备甚至伤到人。所以在今天谈“用世界模型驱动所有机器人”更像是在定一个长期目标而不是一个可执行的下季度计划。2.2 VLA 模型有价值但部署成本会筛选场景VLA 模型是目前很多人关注的方向也确实在“开放指令 复杂操作”上展示出潜力。但它的价值不意味着它适合所有场景。一个典型的 VLA 流程是输入图像和语言指令模型直接输出末端动作或关节动作。听起来很方便但落地时通常要面对三个问题。一是模型体积大常见方案需要 GPU 服务器或高功耗设备。如果一台小型机器人本体上只有树莓派或嵌入式平台本地推理会非常吃力。二是延迟。VLA 模型要同时处理图像、文本、历史状态单次推理往往需要几百毫秒甚至更久。对于抓取类任务一个快速移动的物体不会等你。三是可解释性弱。模型输出一个动作你很难判断它为什么这样输出。现场出了问题排查起来会非常痛苦。我的建议是在 VLA 还没把延迟和成本压下来之前先用它做“慢决策”比如任务拆解、物体选择、异常判断真正的实时动作交给专用控制模型。这样既能发挥大模型的理解能力又不至于被实时性拖垮。2.3 专用小模型能落地是因为它把“任务复杂度”控制住了专用小模型不是落后方案而是工程上的理性选择。比如在一个固定工位上机械臂要抓取三种零件放到对应盒子。真正需要的可能只是一个视觉模型检测零件类别和位置一个运动规划器生成抓取路径一个控制策略处理夹爪位置。这些模型参数量不大部署简单单次推理延迟低而且失败模式相对清晰。它的局限性也很明显换一个场景可能需要重新采集数据、重新训练。但这恰恰是规模化的正常路径——一个产线一个产线地做一个任务一个任务地做。所谓“规模化落地”不是靠一个模型解决所有任务而是用一套可复制的流程解决一类任务。2.4 判断模型优先级看“可闭环数据”是否够用我一般会用下面这张表来给一个场景里的模型路线定优先级模型路线当前适合场景落地难点判断建议感知专用模型抓取、分拣、导航避障准确率、标定、光照变化优先部署扩散策略 / 模仿学习模型固定工位操作、多峰动作数据质量、泛化能力小范围试点VLA / 多模态操作模型开放指令、复杂操作算力、延迟、数据规模等技术成熟世界模型预测、规划、仿真数据、验证、不确定性长期跟踪判断标准不是“哪个模型更前沿”而是“这个模型能不能在一个明确场景里获取足够的可闭环数据”。如果数据都没有再强的模型也只是演示片段。3. 一套能搬进实验室或小批量产线的五步落地流程3.1 第零步把任务边界写清楚很多人拿到一个机器人项目第一件事就是去下载最新模型结果越做越乱。我更建议先把任务边界写清楚。一个完整的任务定义至少包含四件事任务名称比如“在固定工位抓取红色立方体放入左侧盒子”。可用观测RGB-D 图像、机械臂关节角、夹爪状态。动作空间末端笛卡尔位置序列、关节角轨迹还是夹爪开合指令。成功判据立方体进入盒子且下一次循环能继续执行。这个定义看起来很简单但它决定了后续所有环节用什么传感器、采集什么数据、模型输出什么、怎么判断成功失败。没有这一步后面所有尝试都会变成无底洞。3.2 第一步先建最小数据闭环任务定义清楚后不要急着大规模训练。先搭一个最小数据闭环确保能记录下“观测-动作-结果”三元组。一个极简闭环结构大致是这样的# 体现数据闭环的核心结构不是完整项目代码 observation read_camera_and_arm_state() model_input preprocess(observation) action policy_model