Runway发布新模型Solaris
Runway今天分享了Solaris:这是一个全新AI系统家族中的第一个模型,Runway将这个家族称为“界面世界模型”。Solaris的起点是一个问题:当一个操作系统在你使用的过程中生成应用和网站,会发生什么?
![]()
从早期终端到Linux再到macOS,每个操作系统都规定了屏幕上渲染什么,以及当人或程序对其操作时会发生什么。应用建立在操作系统之上,保持固定,直到有人推送更新。Solaris则直接渲染这一层。它是一个实时交互模型,逐帧生成界面本身。每一帧都在你交互时合成,使界面能够持续响应你的动作。
视觉设计仍需翻译成中间表示
设计比以往更注重视觉,像素级完美的模型图和图像模型可以生成几乎与成品无异的整个屏幕。但图像不能像网站或应用那样运行。今天构建的每一款软件仍然需要一次翻译:视觉设计必须先转换成中间表示(例如代码),然后才能做任何事。
这个中间表示限制了界面能成为什么,也限制了它如何响应人和智能体的交互。每个行为都必须提前明确定义和实现,所以软件发布时,是对可能交互空间的有损压缩,在用户到来之前就被冻结了。同样的翻译过程也牺牲了视觉保真度。一旦设计被简化为简化表示,界面可以快速响应,但代价是放弃原始设计的大量丰富性。
Solaris联合处理渲染和交互
Solaris联合处理渲染和交互,消除了今天设计中常见的许多权衡。一个单一的世界模型生成每一帧和对用户输入的每一个响应,不再需要中间表示。因为没有转换步骤,就没有损失,整个画面就变成了界面。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.