北京
分享至
机器人要抓一个杯子，它得先知道杯子在哪。摄像头拍到的只是一张二维图片，像素坐标和真实世界的米制坐标之间，隔着一道换算题。
Hao AI Lab 演示了一套解法：用 SAM 3 定位物体，再叠加深度信息，把图像里的位置转成以米为单位的三维坐标。像素到坐标，这一步被拆成了可执行的流程。
三个环节各管一段
这套流程里，SAM 3 负责的是"找到东西在哪"——在图像中定位目标物体。深度信息负责的是"它离得有多远"——把图像上的位置换算成三维空间中的米制位置。
剩下的向量运算和旋转数学，交给一个计算工具处理。物体不只有位置，还有朝向，机器人要抓取，就得知道它转了多少度。
为什么值得关注
把像素变成机器人可用的坐标，是视觉模型走向物理世界的关键一跳。定位、测距、算姿态，三件事串起来，机器人才能从"看见"走到"够得着"。
这套演示的价值在于分工清晰：视觉模型管识别，深度管距离，计算工具管数学。每一环都有明确的输入和输出。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
