分类: 多模态主义
14 个词条
没有中心模态,也没有架构教条:什么管用就用什么。
| 电脑操作自由主义 agent 应该像人一样通过屏幕、鼠标和键盘操作电脑,因为这套接口早已通向所有应用。 | |
| 视觉智能体主义 智能体应该像人一样看屏幕、对着像素操作软件,而不是依赖 API 或 HTML。 | |
| 物理定律专制 坚持学到的模型必须遵守已知物理定律,并且要作为硬约束写进模型,而不是指望从数据里自己学会。 | |
| 跨模态对齐主义 认为所有模态都应该映射进同一个共享 embedding 空间,靠成对数据上的对比学习把它们拉到一起。 | |
| 类脑视觉主义 认为视觉模型应当从生物视觉皮层借鉴结构和学习原理。 | |
| 评测程序主义 只有经过严谨、可复现的评测程序量出来的才算进展,所以做好 eval 本身就是核心研究工作。 | |
| 对比自由主义 表示最好由正负样本组成的自由市场来学习:相似的视角拉近,其余的推远。 | |
| 小模型地方主义 在本地设备上运行、训练得当的小语言模型,在大多数真实任务上比远端的巨型模型更好用。 | |
| 界面接地主义 GUI agent 的瓶颈在感知而不在规划;agent 首先得能稳定地在屏幕上找到正确的元素。 | |
| 函数调用联邦主义 每种能力都应该暴露成有类型的 API,模型则作为联邦协调者,通过结构化函数调用来使用它们。 | |
| 多模态智能体主义 agent 应该能看、能听、能说、能做,由一个中心规划器调度各类专门的感知与生成工具。 | |
| 分词改良主义 模型的很多毛病都出在分词上,所以应该认真改良 tokenizer,而不是靠堆规模绕过去或者干脆废除它。 | |
| 开放式学习主义 目标是能永不停歇地产生新颖、越来越复杂的问题和解法的系统,而不是收敛到某个固定目标的系统。 | |
| 三维几何主义 认为世界是三维的,模型应该显式表示几何,而不是只从平面图像去推理。 |