能力与路线 · Embodiment & the physical world
具身与物理世界
AI 进入物理世界还差什么:数据、触觉、机器人
访谈 24 场 · 文献 0 篇 · 访谈话语 16 条 · 已核读摘录 0 条
这个话题下的话语
16原话逐字核对过;转述不加引号依然处于 GPT-2 时代,原因在于:要达到 GPT-3 的水平,我们首先需要少样本学习能在大量不同任务上真正奏效;其次机器人学至今依然极度受制于环境迁移——如果一个模型只能在你那台具有特定配置的机器人上运行,它能算得上是通用大脑吗?
still GPT-2 and here's why. I think for GPT-3 we need firstly few shot learning to work really well for a lot of different tasks and secondly also with robotics weirdly is still very subject to cross environment, right? If it just works on your robot with your specific setup, is it really a generic brain?
语境:Keerthana 评估具身智能现状,指出机器人模型尚未迈过泛化门槛:不同物理本体和硬件传感器的异构性,使得通用具身大脑远比纯数字 LLM 难以泛化。
通过极少量的数据——仅用 200 个示例——你就能让它在许多截然不同的机器人身体上学会大量任务,因为你已经具备了对物理世界进行高度通用理解的基础底座,并懂得如何对其进行控制。
You can with very, very small number of examples, with 200 examples, you can learn a lot of different tasks on a lot of different bodies, because you already have the foundation to do a very generic understanding of the physical world, and also like how to control it
语境:介绍 Gemini Robotics 端侧小模型的少样本跨本体迁移能力:预训练模型赋予物理常识后,仅需几百个演示即可适配新本体。
长程多步骤机器人操作面临复合误差的几何级累积:当高层具身推理模型(ER)与底层动作执行模型(VLA)分工串联时,各环节成功率的乘积会导致长链条任务的端到端可靠性急剧下降。
语境:Keerthana 剖析机器人长程任务的工程瓶颈:容错率决定任务难度,能自我修正试错的装配任务远比容错率为零的连续操作更容易落地。
我坚信 AI 的未来在于 AI 软件与硬件的共同演进。模型将极大受益于最前沿的硬件来加速训练、推理与服务;与此同时,硬件也将极大受益于对未来工作流与算力需求的洞察与前瞻。
I really believe that the future of AI is this whole evolution of AI software and AI hardware. Models will gain so much by using the most cutting edge hardware to accelerate the training, the inference, the servicing. But in the meantime, hardware will benefit so much from the insight and the peek into the future of the workflows and needs of hardware.
语境:李飞飞阐述 World Labs 选择与芯片巨头合并的技术逻辑,指出空间智能模型与计算硬件之间存在紧密的互哺协同关系。
我一直强调在 AI 领域从来没有‘一刀切’的解决方案。我们谈论了很多关于大型云端算力以及我们在 CPU、GPU 上的进展;但物理 AI 世界、机器人领域的机遇,以及跨越云端、边缘与端侧的端到端能力,将是我们未来大幅增长的关键领域。
one of the things I've always said is there's no one size fits all when it comes to AI, right? I mean, we talk a lot about the big cloud compute and what we're doing in terms of CPUs and GPUs. Um, but the physical AI world, The opportunity in robotics. The end to end AI capability across cloud, edge and client. You know, those continue to be places where I believe we're going to grow a lot
语境:苏姿丰展望未来三至五年的算力格局,指出除了云端超大集群外,伴随具身智能兴起的边缘端与端侧异构芯片将是计算架构的新增长极。
我们常说的一件事是:随着我们不断扩展视频模型,仅仅通过 Scale 视频模型,我们意外地为机器人领域创造出了一个顶尖模型。我们在去年年中意识到,机器人实验室纷纷主动找上门来,希望将视频模型用于生成合成数据,并让我们针对机器人场景对视频模型进行后训练。
One thing we like to say is we as we scaled video models, we accidentally uh created a state-of-the-art model for robotics uh by just scaling video models. So we realized at some point um mid last year that robotics labs started coming up to us and kind of asking to use video models for synthetic data kind of asking us to post train our video models to work really well for robotics
语境:Anastasis Germanidis 披露 Runway 开发 GWM1 时的工程惊喜:视频规模化预训练直接沉淀出了对物理交互的通用感知表征,无意中成为机器人策略的核心基础设施。
如果你拥有一个交互式模型,你希望它能够生成反事实结果——例如如果我执行动作 A 与执行动作 B,它能生成同样逼真的不同结果。我认为这就是视频模型与世界模型之间的重大鸿沟:反事实推演能力。如果你想要一个出色的机器人世界模型,你必须能够极其逼真地模拟动作的失败。
if you have an interactive model, you wanted to be able to generate counterfactuals like if I take this action versus this action, you wanted to generate equally realistic outcomes. Uh so that's I think the big gap between video models and and and world models is that idea of the counterfactual generation. And if you want a great model for robotics, you want to simulate failure very well
语境:Anastasis Germanidis 辨析世界模型的技术本质:视频模型倾向于生成顺畅的成功画面,而具身策略评估与强化学习闭环则高度依赖对「失败」的反事实精确模拟。
利用第三人称人类视频对世界模型进行前置预训练,能够显著降低具身智能对昂贵遥操作硬件采集数据的依赖,打破真实物理世界数据采集难以规模化的瓶颈。
语境:Anastasis Germanidis 阐释具身数据飞轮路径:人类主要是通过第三人称观察学习动作,世界模型吸收海量日常视频后,仅需少量动作微调即可泛化到机器人任务。
缩小仿真与现实鸿沟的关键在于神经优化:通过将仿真器输出与真实世界视频中的物理动态进行端到端对比学习,系统能自动迭代校准物理参数,彻底超越人工手写物理规则的精度极限。
语境:Christopher Manning 提出自动闭合 Sim-to-Real 鸿沟的工程方案:以端到端神经网络对物理模拟器进行自适应校准。
我们的核心论点是构建所谓的全本体通用智能:任意机器人、任意任务、同一个通用大脑。无论是双足人形、四足机器狗、传送带上的机械臂还是灵巧手都无所谓。这种假设甚至比人类的控制能力更为通用,因为人类只能控制自己的身体。
our thesis is is to build what we call an omniodied intelligence any robot any task one brain okay any robot it can be a humanoid it can be a quadriped it can be a robotic arm on a conveyor belt or a dextrous hand doesn't really matter this even this hypothesis is way more general than uh one would argue humans are
语境:Deepak Pathak 提出 Skild AI 的跨本体通用基础模型路线:打破传统按单一形态定制机器人的范式,用单一通用策略统一多样化硬件。
端到端是 AI 许多领域被大量使用的词汇。但当我谈及端到端时,我是指真正的端到端:模型直接读取摄像头视觉输入,并直接将动力施加到各个电机上。除了最后用来将频率从 100Hz 提升到 500Hz 的经典比例控制器(P)之外,中间没有任何模块。
Now end to end is heavily used term in in many areas of AI. But when I mean end to end, I really mean end to end. It reads directly from the cameras and it applies power directly to motors. So we use nothing uh in between except just a P at the very end to go from 100 to 500 Hz.
语境:Deepak Pathak 解释其控制策略架构:彻底抛弃传统的感知-建图-规划分层管线,实现从像素到电机电流的纯神经网络闭环直驱。
通过人工遥操作采集机器人动作数据的物理成本极其高昂,单条样本约需一分钟,若想仅靠人工遥操作达到早期语言模型的数据规模,即便动员全美人口也需耗费一个世纪以上。
语境:Deepak Pathak 论证为什么具身智能不能单纯照搬互联网文本数据的缩放方法,必须通过多形态数据共享与高仿真学习打破数据天花板。
生物智能展现了令人惊叹的参数能效比;秀丽隐杆线虫仅凭 302 个电性非脉冲神经元即可精准调度 95 块肌肉细胞完成复杂运动控制,这一自然原型证明非线性连续时间架构具备远超传统离散机器人的紧凑表征潜力。
语境:Ramin Hasani 回顾 Liquid AI 的生物学灵感来源:自然界用极其微小的神经回路实现了超越现代昂贵机器人算力的控制泛化,为轻量化基础模型研发提供了范式指引。
从演化论视角来看,新视点预测正是大自然通过让动物运动所必须解决的问题。大自然赋予了动物眼睛,却没有给树木眼睛。为什么?因为只要你运动,你就会看到新的视点。无论你称之为 AI 完全性还是智能完全性,我们都坚信‘下一个视点预测’与‘下一个词预测’完全等价。
new viewpoint prediction is exactly what evolution had to solve by making animals move. Nature gave animals eyes, but nature didn't give trees eyes. Why? Because when you move, you see a new viewpoint. And that is whether you call it AI-complete or intelligence-complete. So we do believe very strongly that next viewpoint prediction is the equivalent of next token prediction.
语境:李飞飞从生物演化与智能起源阐释 World Labs 空间智能的核心哲学:运动与交互迫使生物感知三维空间的新视点,因此预测新视角是通向物理世界通用智能的本原路线。
在通往空间智能的道路上,生成像素无疑只是初级的第一步,无数模型都已经做到了这一点。但生成真正具备空间上下文感知并扎根于几何与物理现实的像素,则是质的飞跃。而这正是 Atlas 迈出的最艰难一步。
generating pixels is definitely an early step, which we have seen with gazillions of models. But generating pixels that are truly spatially contextualized and grounded is absolutely another major step. And that is the very hard step that Atlas has taken.
语境:李飞飞区分 2D 视频生成与 3D 世界模型的本质差异:表层像素生成容易产生幻觉与物理不一致,真正的世界模型必须具备空间几何接地(grounded)。
李飞飞阐明世界模型创业的核心两项信念:其一是大算力扩展定律(scaling law)同样适用于物理与三维空间;其二是通过下一个视点预测(next viewpoint prediction)建立三维世界模型,能够使模型获得几何一致性与物理接地能力。
语境:李飞飞回顾创立 World Labs 时的核心假设:坚信扩展定律不仅适用于语言,更同样能在三维物理空间通过视点预测复现。
讲者与作者
16
人机关系李飞飞:不要只用“替代人”来理解 AI
李飞飞·Futurology
具身与物理世界刘洺堉 × 张小珺:Cosmos 3、开源世界模型与物理 AI 研发哲学
刘洺堉·张小珺访谈录
具身与物理世界沈宇军 × 张小珺:机器人原生基座模型、大脑与本体关系及数据规模化
沈宇军·张小珺访谈录
具身与物理世界柯丽一鸣 × 张小珺:Physical Intelligence 开源机器人模型与具身智能流派演化
柯丽一鸣·张小珺访谈录
算力与芯片谢晨 × 张小珺:AI 与机器人数据金字塔、合成数据机制与行业版图
谢晨·张小珺访谈录
学习范式与路线谢赛宁 × 张小珺:DiT 诞生始末、世界模型、AMI Labs 与独立学术科研抉择
谢赛宁·张小珺访谈录
具身与物理世界高继扬 × 张小珺:具身智能创业、自动驾驶工程经验迁移与机器人软硬件协同
高继扬·张小珺访谈录
具身与物理世界谭捷 × 张小珺:Gemini Robotics 1.5、跨本体机器人控制与世界模型研发
谭捷·张小珺访谈录
具身与物理世界刘先明 × 张小珺:端到端自动驾驶、“语言是毒药”与端侧世界模型
刘先明·张小珺访谈录
商业模式与格局李想 × 张小珺:CEO 大模型、端到端自动驾驶快慢系统与科技企业治理
李想·张小珺访谈录
具身与物理世界王鹤 × 张小珺:具身智能学术演进历程、泛化操作与仿真到物理世界迁移
王鹤·张小珺访谈录
AI 与科学发现Periodic Labs:让 AI 科学家进入物理实验室
Liam Fedus · Ekin Doğuş Çubuk·Latent Space
具身与物理世界一个大脑,任意身体:Gemini Robotics 2 与跨本体
Keerthana·Cognitive Revolution
商业模式与格局AMD 以 82 亿美元收购李飞飞的 World Labs
苏姿丰 · 李飞飞·Bloomberg Tech
学习范式与路线Anastasis Germanidis:Runway 从视频生成跃迁至具身世界模型
Anastasis Germanidis·Latent Space
学习范式与路线Christopher Manning:世界模型需要因果机理而非漂亮像素
Christopher Manning·AI Engineer
具身与物理世界Deepak Pathak:突破机器人 70 年困境的全本体通用大脑
Deepak Pathak·AI Engineer
人机关系机器人能学会察言观色吗
Angelica Lim·YouTube
学习范式与路线302 个神经元的线虫启发了他们的架构
Ramin Hasani·Latent Space
智能体落地从语音智能体到 AI 数字人
Alexander Smola·TWIML AI Podcast
学习范式与路线世界模型、机器人与 3D AI 的未来
Justin Johnson·a16z
180: 具身智能的金钱游戏:进展难测、收入催熟与 IPO 竞速
晚点聊 LateTalk
学习范式与路线李飞飞为什么押注空间智能
李飞飞·a16z
机器人触觉的爆发前夜:五大技术路线、数据困局与模型之争|机器人系列
硅谷101
