北京
分享至
一个原本只吃文本和JSON的决策模型，现在能看图了。Jev的这次更新，把输入类型从纯文本扩展到了图像，变成了一个多模态决策模型。
它的输出方式没变，还是靠特定类型来给结构化答案：「Choice」负责类别选项，「Noul」给出真值概率，「Score」做量化评分。这次多了一个新类型——「Box」，用来实现类似YOLO的目标定位，也就是基于边界框的目标检测。
作者Akshay演示了怎么把这些能力并行结合起来用。比如做手势控制，或者视觉参考检查，都可以靠并行提问来完成。这种并行提问的方式，适合交互式应用场景。
不过有个细节得注意：目前图像功能需要特定的「danger zone」请求头才能调用。想上手试的人，这一步绕不开。
从纯文本到多模态，Jev的定位没变，还是提供结构化、代码就绪的答案。变的只是它能处理的信息类型——现在图片也能进，检测框也能出。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
