分类: 范式:逆天之革命

20 个词条

范式等级 1:所有在图上以这一档深浅出现的主义。

世界模型先锋队
智能首先必须在内部建立一个可预测的世界模型;语言和智能体都在那之后。
字节平民主义
tokenizer 是没人选出来的精英;模型应该直接读原始字节,自己学会意义的单位。
生物混合主义
长在芯片上的活神经元可以被训练来计算,提供一种硅片模仿不了的高能效计算基质。
类脑视觉主义
认为视觉模型应当从生物视觉皮层借鉴结构和学习原理。
隐空间预测主义
主张模型应在表征空间中预测缺失或未来输入的抽象表示,而不是重建像素或 token。
人工生命主义
智能是类生命过程的晚期产物,应该从自组织、自复制的系统里“长”出来,而不是训练出来。
神经进化主义
对网络权重、拓扑和超参数做进化搜索,是一种可扩展、不依赖梯度的反向传播替代方案。
开放式学习主义
目标是能永不停歇地产生新颖、越来越复杂的问题和解法的系统,而不是收敛到某个固定目标的系统。
物理主义
认为理解物理动态先于智能,模型应当学会物体和力在现实中到底如何运作。
发展主义
智能应该像孩子一样分阶段长出来:通过具身玩耍、课程和逐步扩展的技能。
形式语义主义
意义就是可以用逻辑表达的真值条件;一个系统只有能组合出这样的意义,才算理解了语言。
先天语法主义
认为语言依赖先天的专门结构,单靠从数据中做统计学习,既解释不了也造不出真正的语言能力。
物体中心主义
认为场景应当表示为一组离散的物体,每个物体占一个 slot,而不是一张不加区分的特征图。
无目标函数无政府主义
宏大目标具有欺骗性;以新颖性和“有趣”为导向的开放式搜索,能找到目标驱动优化永远到不了的垫脚石。
涌现语言主义
让 agent 在共同任务中自己发明交流方式,使语言扎根于使用,而不是从人类文本里照抄。
形态计算主义
设计良好的身体自己就承担了大量计算,所以应该把智能卸载到材料、弹簧和形状里。
直觉物理主义
认为 AI 应当先具备婴儿就有的核心物理直觉,比如物体恒存、实体性和连续性,然后才谈更抽象的东西。
小车原始主义
一辆只有两个传感器、两根导线的趋光小车,已经能表现出我们称之为恐惧、爱与好奇的行为;从这里开始。
形态无政府主义
身体与大脑应该自由地协同进化;任何固定的机器人形态,人形也好别的也好,都不配当默认选项。
范式破坏主义
范式革命维度极端的称号:Transformer、反向传播和 next-token prediction 都是该被砸碎重建的偶像。