分类: 多模态主义

14 个词条

没有中心模态,也没有架构教条:什么管用就用什么。

电脑操作自由主义
agent 应该像人一样通过屏幕、鼠标和键盘操作电脑,因为这套接口早已通向所有应用。
视觉智能体主义
智能体应该像人一样看屏幕、对着像素操作软件,而不是依赖 API 或 HTML。
物理定律专制
坚持学到的模型必须遵守已知物理定律,并且要作为硬约束写进模型,而不是指望从数据里自己学会。
跨模态对齐主义
认为所有模态都应该映射进同一个共享 embedding 空间,靠成对数据上的对比学习把它们拉到一起。
类脑视觉主义
认为视觉模型应当从生物视觉皮层借鉴结构和学习原理。
评测程序主义
只有经过严谨、可复现的评测程序量出来的才算进展,所以做好 eval 本身就是核心研究工作。
对比自由主义
表示最好由正负样本组成的自由市场来学习:相似的视角拉近,其余的推远。
小模型地方主义
在本地设备上运行、训练得当的小语言模型,在大多数真实任务上比远端的巨型模型更好用。
界面接地主义
GUI agent 的瓶颈在感知而不在规划;agent 首先得能稳定地在屏幕上找到正确的元素。
函数调用联邦主义
每种能力都应该暴露成有类型的 API,模型则作为联邦协调者,通过结构化函数调用来使用它们。
多模态智能体主义
agent 应该能看、能听、能说、能做,由一个中心规划器调度各类专门的感知与生成工具。
分词改良主义
模型的很多毛病都出在分词上,所以应该认真改良 tokenizer,而不是靠堆规模绕过去或者干脆废除它。
开放式学习主义
目标是能永不停歇地产生新颖、越来越复杂的问题和解法的系统,而不是收敛到某个固定目标的系统。
三维几何主义
认为世界是三维的,模型应该显式表示几何,而不是只从平面图像去推理。