机器人走错路了？与苏度韩铮聊聊具身智能的3D数据、路径分野与硅谷竞赛

（本文作者为 硅谷101，钛媒体经授权发布）文 | 硅谷1012026世界人工智能大会（WAIC）上，成立不到一年的苏度科技首次在国内系统亮相，现场演示了10余项技能，覆盖双手操作、柔性体处理、精密组装、移动抓取，还有一个被视为具身智能下一阶段关键方向的“彩蛋”：边移动边操作。让机器人在真实世界操作物体，与单纯的控制运动相比，难度陡然提升2到3个量级，因为“动手”之前，它需要理解眼前的物理世界。这正是苏度科技想啃下的硬骨头。苏度科技联合创始人、董事长苏昊是ImageNet的核心作者之一，师从李飞飞。这家公司走了一条与硅谷主流“纯大脑黑盒大模型”不太一样的路：软硬件协同设计，上下分层架构，上层负责任务规划与环境理解，下层负责具体物体操作；Sim-to-Real作为核心训练范式，让机器人在虚拟世界里经历几百万年的进化，再迁移到现实。这条路已经跑出成效：在今年4月发布的Demo中，机器人零样本通用抓取单次成功率达到98%。WAIC现场的10余项技能并非孤立开发，它们共享同一套Sim2Real技术范式，底层跑通后，新技能的边际成本会快速下降，最终形成一套可复用、可扩展、能够持续生成新能力的机器人系统。本期《硅谷101》播客，我们邀请苏度科技联合创始人兼CEO韩铮，一起聊聊机器人的3D数据从哪里来？ Sim-to-Real这条路能不能走通？全球机器人竞赛，各大头部玩家的技术路径是什么，谁能真正的跑出来？韩铮预测，接下来会有更多的硅谷公司重新回到“上下分层”的方向上来。而在硅谷众多明星公司中，Deepmind+波士顿动力的组合，可能是这条路上最值得关注的对手。以下是这次对话内容的精选：泓君：我看你们现在做的机器人很火，我看见新闻消息说，投资人很难抢到你们的投资份额。现在做机器人的公司非常多，我初步把它分成两层，一层是造大脑的机器人，比如硅谷的PI、Skild；还有一层是造身体，像Optimus、宇树。所以开始的时候，您要不要简单讲一下苏度科技的定位，你们做的是哪个环节？韩铮：我们是大脑和本体都做，现在很多的机器人公司都在强调这一点，就是要全栈，要做整个的系统。我们团队10年前就开始用机器学习方法驱动机器人，当时主要以软件为主，做探索和尝试。直到2022年，团队开始以商业化的方式来做准备的时候，我们才开始正式地考虑自己来做硬件的本体。因为多年积累下来的经验告诉我们，如果不碰本体，大脑的能力很难展现出来，也很难做迭代和验证。SUDO R1机器人｜图片来源：苏度科技泓君：如果我们要类比一家硅谷的、大家现在已经比较熟悉名字的这些机器人公司，你觉得你们做的这些环节跟哪一家机器人公司是更接近的？韩铮：我觉得硅谷的机器人公司，不管是像Optimus，还是上一代的波士顿动力，还是Figure、1X，其实都是本体+模型。不过这几家公司在模型侧的能力，比起Physical Intelligence、Skild，要稍弱一些，没有那么专注。泓君：我觉得我们要看每一家公司做机器人，它的思路有什么不一样，可能要从它的整个历史说起。我知道你的联合创始人苏昊，他是李飞飞的学生。李飞飞当年成名之战是ImageNet，她给上百万的图片做人工标注，然后让机器第一次看这个足够多的世界。苏昊他其实就是ImageNet的核心作者之一，后来他把这个思路搬到了3D。我觉得这个跟今天的苏度整个的历史也是一脉相承的。所以你可不可以简单跟大家介绍一下ImageNet，为什么它会成为整个AI爆发的一个导火索？韩铮：苏昊求学生涯里边其实一共有两个PhD，其中大概有将近4年时间的话，他是在李飞飞老师当时在普林斯顿、后来在斯坦福的实验室里边，核心的项目就像您讲的，实际上是做ImageNet大的项目。他曾经跟我讲过，李飞飞对于整个ImageNet的推动和架构的话，实际上是非常有远见的。ImageNet核心思想就是，用结构化的方法，把世界上典型物体的2D图片和对应的文字描述配对，进行系统化的整理和复现。比如桌子上的杯子，我们需要一系列的典型图片去描述世界上几乎所有的杯子，但是同样款式的杯子，我们一张或者两张图片可能就够了。这个思想在2012年、2013年，苏昊跟随第二个PhD导师Leo Guibas，在斯坦福的实验室的时候，把这套思想带到了3D里边来。所以他那个时候开始组建3D的大数据集ShapeNet。它最大最大的挑战就在于，相比于ImageNet，你可以把互联网上面几乎所有的图片和它下面的文字描述和标题梳理清楚，并且以众包的方法做标注，但3D模型其实非常欠缺。泓君：把这个思路搬到3D领域，就是我能想象，比如说你2D，要在图片里面去识别这个杯子，我只需要一个标签。3D的话，它的标注维度会大很多，你的文字标注它怎么去解决这种空间的物理关系，甚至是力的反馈？我觉得这个事情听起来要难很多。韩铮：对，这里边的工作其实要复杂很多，所以愿意做3D大数据集的人相比于2D以及语言的大数据集的话，要少很多很多。在3D大数据集方面，我们有一系列的工作。第一个就是ShapeNet，是苏昊在斯坦福期间的核心工作，现在做到了几十万的3D数据。但实际上还远远没有达到像ImageNet能够覆盖世界上所有物体所有的模型。这些3D模型，它只有基础的几何，和基础的表面贴图，我们大概能够预估到它的这些物体的材质。但再往下一步的话，同样一个物体的话它可能会分不一样的parts和组件，比如说一个饮料瓶子，会分成瓶身、瓶盖……有的时候你甚至需要标注哪个是它的瓶底。标到PartNet的时候，就只有几万的物体了。但再进一步，比如说对于这个瓶子，它的瓶盖究竟是往左拧还是往右拧，它拧动之后能不能够把它给拧下来，这个就叫动力学约束的一些标注，这个数据集叫PartNet-Mobility。到目前为止，如果我没记错的话，它仍然是最大的带部件、带动力学约束的开源数据集，但这里边只有不到3000个物体带有标注的。这对像机器人合成数据的训练生成，像视频生成里边带有连续的空间和物理一致性，都有很大的约束。泓君：3D数据的收集，可能标注是很费时间成本的事情。现在我们在考虑大模型跟机器人的训练方法时，比如说我让它现在用ShapeNet的这一套开源数据集去训练，跟直接对着视频网站成千上万的开放世界的视频去训练，它的核心区别点是什么呢？韩铮：我觉得这个核心区别在我们看来，就是2D的图片和视频里边，三维的信息有，但是不太全，也不太准。如果你拿它用来做自动驾驶导航，它对精度的要求没有太高，有一个大概10公分左右的精度，是够用的。但是对机器人的操作，10厘米的误差是绝对不能忍受的。像我们面前的这个录音机，我们要把线缆插到对应的孔位里边去，它的要求必须是在亚毫米级以内。对于我们做仿真（Sim-to-Real）的这条路，我们是要求机器人对于物理环境里边的物体和环境、对于几何有比较精准的理解。它对几何精度的理解，就要达到毫米级，甚至亚毫米级才可以。泓君：您觉得苏昊在做整个ShapeNet以后，现在开始跟你们一起做苏度机器人，在这个中间沉淀下来的最核心的资产是什么？韩铮：走Sim-to-Real这条路，它有点像波音造飞机，它是一个比较复杂的系统工程。所以怎么能够把搭建这个复杂系统工程的团队建起来，我觉得这是我们团队最核心的积累。我们团队里边的小伙伴们在苏昊的实验室以及我们成立公司之后，核心的这几个大组的负责人其实都在一起工作过七八年的时间。人，还有过去做这些事情的经验跟方法论，这个是无可比拟的优势。包括数据，比如说我们在做仿真器，其实大家能够想象到的市面上核心机器人的仿真器，不管是像Isaac、MuJoCo，甚至说新创的一些公司，都跟我们有千丝万缕的联系。NVIDIA Isaac Sim将同一抓取任务在物理世界与仿真世界中并行呈现｜图片来源：NVIDIA泓君：我先跟听众解释一下Sim-to-Real，它的意思直译就是“从仿真到现实”，它是让机器人先在电脑模拟的虚拟世界中训练，练成之后把学到的这件事情“搬”到真机上，让它在物理世界里面也能用。大家注意，重点不是说仿真这两个字，而是“搬”的这个动作，能不能直接把它搬到现实世界，还灵不灵？它是这条技术路径上最大的一个难题。英伟达的Isaac仿真平台就是这个路径最大的推手之一。与它相对的另一条路径，就是Real World Data这一派，直接用真实世界采集的数据来训练，比如说让人手把手地教，然后机器照着学。我记得苏昊其实是非常早就在做跟机器人、跟3D数据集一系列的探索，那个是在什么时间？韩铮：应该是2012年、2013年。因为在ImageNet出来之后，他有一个想法，是要做一个类似于神经网络的架构，但当时跟他配合的人没有那么多。在ImageNet的挑战赛AlexNet横空出世之后，对他的冲击我觉得是非常大的，他觉得自己可能是错过了非常重要的一个机会。所以他就思考，下一个大的领域会是什么？他想把大数据集加神经网络的方法带到物理世界里边来。在他拿到第一个PhD之后，在Leo Guibas教授组开始搭建新的3D学习的团队。泓君：这个中间我觉得不管是机器人还是我们现在说的AI，它的技术已经经过了特别多轮的迭代了。在2012年、2013年那段时间，甚至更早的一段时间，大家觉得投资机器人都是不赚钱的，甚至是失败的投资项目。那个时候其实硅谷有非常多好的机器人项目，像什么Covariant。韩铮：我们在创业初期，也受到了上一波大家对于这个问题的影响。从2012年、2013年开始，到2015