坐标轴与计分
五根轴、五十道题、一种距离。这里的一切都在仓库里,都可以通过 pull request 修改。
概览
图谱由五根轴组成。横轴(表征)和纵轴(架构)把你放到 13 × 12 格的图上,范式轴决定格子的深浅,开放轴和速度轴决定外圈的称号。简单版 10 题只测两根主轴;完整版 50 题测全部五根。
| 轴 | −1 | +1 | 题数 | 作用 |
|---|---|---|---|---|
| x · 表征 | 语言 | 世界 | 48 | 图上位置 |
| y · 架构 | 系统 | 统一 | 57 | 图上位置 |
| p · 范式 | 主流 | 范式转换 | 41 | 格子深浅 |
| o · 开放 | 闭源前沿 | 开放 | 16 | 外圈称号 |
| a · 速度 | 审慎 | 加速 | 18 | 外圈称号 |
表征 x
智能建立在什么之上?语言一侧认为语言是思维的载体,文本预训练是知识的来源,其他模态只是给语言核心供给信息的感官。世界一侧认为智能扎根于感知、视频、物理和身体,语言只是对感官早已知道的东西贴上的一层有损标签。
| ID | 陈述 | 同意时 |
|---|---|---|
x1 简单版 | 语言是思维的载体:心智能想的几乎任何东西,原则上都可以用语言一步步想出来。 | 语言 |
x2 简单版 | 只读过文本的模型,永远不会真正懂得“重”和“滑”是什么意思。 | 世界 |
x3 | 互联网文本已经包含了人类知识的绝大部分。 | 语言 |
x4 | 一个四岁孩子用眼睛看过的数据,比任何语言模型读过的文本都多,这件事很重要。 | 世界 |
x5 | 视觉模块的主要作用,是把图像翻译给语言模型看。 | 语言 |
x6 简单版 | 下一代基础模型的主要训练数据应该是视频,而不是文本。 | 世界 |
x7 | 推理本质上是语言性的:解题中真正难的部分发生在文字和符号里,而不是在无法言说的直觉里。 | 语言 |
x8 | 不能预测物理世界下一刻会发生什么的系统,不配叫智能。 | 世界 |
x9 简单版 | 机器人和具身数据是通往通用智能的必经之路。 | 世界 |
x10 简单版 | 多模态能力的进步,大部分来自更强的语言主干。 | 语言 |
x11 | 语言是对世界的低带宽、有损压缩,所以主要靠文本训练的模型终将撞上一个绕不过去的能力天花板。 | 世界 |
x12 | 能写好代码、能证明定理的模型,比“看懂视频”的模型更接近通用智能。 | 语言 |
x13 | 高质量网络文本用完之后,下一个大的新知识来源必须是视频这类感知数据,而不是合成文本。 | 世界 |
x14 | 由模型生成、再经 verifier 校验的数学、代码和推理轨迹合成数据,足以让预训练越过人类文本的数据墙继续往前走。 | 语言 |
x15 | 视频模型学到的物理知识,大部分早就以文字形式写在某处了;视频带来的更多是感知细节,而不是新知识。 | 语言 |
x16 | 交互数据——模型亲眼看到自己动作带来的后果——能教会因果知识,这是被动爬取的文本给不了的。 | 世界 |
x17 | 就通用推理能力而言,同样的算力花在代码和形式化数学数据上,比花在视频上收益更大。 | 语言 |
x18 | 对长程控制来说,像 Dreamer、MuZero 那样在学到的隐空间 world model 里做规划,比用自然语言一步步规划更能 scale。 | 世界 |
x19 | 困难的几何和空间推理题,最好的解法是写代码或符号化描述,而不是在像素或隐空间图像上推理。 | 语言 |
x20 | 在连续隐状态里推理、不输出思维链 token 的方法,在同等算力下会胜过显式的 token 级思维链。 | 世界 |
x21 | 视觉思维链(推理中途生成中间图像或草图),在多模态任务上比好的文字思维链多不了多少。 | 语言 |
x22 | 像 JEPA 或 Genie 这类 world model 那样在像素或隐空间里做预测,比文本 token 更适合承载直觉物理。 | 世界 |
x23 | 杯子会洒、布会折这类物体常识,主要是靠亲手操作物体学会的,而不是靠看或读。 | 世界 |
x24 | 一个没有身体的模型,从未控制过任何身体或传感器,也能解决数学和科学里的开放问题。 | 语言 |
x25 | 家用机器人需要的大部分推理,都可以交给一个从未控制过身体的语言模型来完成。 | 语言 |
x26 | 任何严肃的通用智能 benchmark 都应该包含真实世界中的物理任务,而不只是文本、代码和 ARC 这类谜题。 | 世界 |
x27 | 在 MuJoCo 这类物理丰富的模拟器里学会动手,不只是机器人需要,而是通用智能所必需的,再多文本预训练也替代不了。 | 世界 |
x28 | 能操作浏览器、终端和代码库的数字 agent,比实体机器人更直接地通向通用智能。 | 语言 |
x29 | 对一个通用的 world model 来说,触觉和本体感觉和视觉一样重要,而现在的多模态模型几乎忽视了它们。 | 世界 |
x30 | 具身智能可以先放一放:等无身体的模型足够强了,控制机器人只是一个顺带就能做好的下游应用。 | 语言 |
d1 | 一个能干活的家用机器人,最好由感知、建图、规划、控制几个模块搭起来,而不是一个端到端策略。 | 世界 |
d2 | 足够大的语言模型可以端到端地当通用 agent 用,屏幕画面和传感器读数编码成 token 喂进去就行。 | 语言 |
d3 | 一个以动作为条件、端到端训练的视频世界模型,会取代机器人领域里手工搭建的仿真器和规划器。 | 世界 |
d4 | AI 科学家需要的,主要就是一个会调用文献检索、代码执行和符号求解器等工具的语言模型。 | 语言 |
d5 | 机器人部署后必须从自己的物理交互中持续学习,任何固定的预训练语料都预料不到真实世界。 | 世界 |
d6 | 沿用同样的 next-token 目标,继续加文本、代码和合成推理轨迹,就能不断训出更强的推理模型。 | 语言 |
d7 | 用朴素的下一帧预测训练视频模型,规模上去了就能学会直觉物理,不需要新的学习目标。 | 世界 |
k2 | 直接看原始截图、用鼠标键盘操作的 computer-use agent,最终会胜过那些拿着结构化 API 和无障碍树的 agent。 | 世界 |
k3 | 世界模型应该在学到的隐空间里预测未来状态,而不是逐像素地生成未来的视频帧。 | 世界 |
k4 | 先把图像转成详细的描述文字,再让纯文本模型在上面推理,在大多数真实任务上损失不大。 | 语言 |
k5 | 通用的机器人操作,主要缺的是在现有 Transformer 配方下多得多的真实机器人数据,而不是新的学习算法。 | 世界 |
k14 | VLA 模型应该把动作当作语言模型词表里的离散 token 来输出,而不是另接一个连续的 action head。 | 语言 |
k18 | 人工整理的知识图谱回答事实性问题仍然比任何语言模型的参数记忆更可靠,而且会一直如此。 | 语言 |
k21 | 现有模型的空间推理会一直很脆弱,直到用在三维环境中移动和行动的 agent 数据来训练它们为止。 | 世界 |
k22 | 多模态模型对图像的认识大多来自配对的描述文字,所以 caption 的质量比图像数量更重要。 | 语言 |
k27 | 让模型在自己的思维链里决定想多久,比在它的输出上强加 tree-of-thought 之类的外部搜索更好。 | 语言 |
k29 | 物理推理需要显式的以物体为中心的 slot 表示,稠密的 patch embedding 光靠 scaling 做不到。 | 世界 |
k30 | 在足够多的文本上做 next-token prediction,网络内部就已经有了可用的世界模型,不需要单独的世界模型训练目标。 | 语言 |
架构 y
智能住在哪里?统一一侧押注一个端到端的模型:记忆、规划、工具使用都应在模型内部涌现,今天的脚手架会被下一代模型吸收。系统一侧押注模型之外的系统:工具、记忆、工作流、显式结构、多个 agent,认为 harness 可以比模型本身更重要。
| ID | 陈述 | 同意时 |
|---|---|---|
y1 简单版 | 今天的 agent 框架和 harness,几年后都会被更强的模型吸收掉。 | 统一 |
y2 简单版 | 同一个模型换一个好的 harness,提升可以比换一代模型还大。 | 系统 |
y3 简单版 | 端到端训练终将打败人工设计的模块化流水线。 | 统一 |
y4 简单版 | 智能更多存在于系统里(记忆、工具、流程),而不只是权重里。 | 系统 |
y5 简单版 | 工具调用只是过渡,模型最终应该在内部完成所有事情。 | 统一 |
y6 | 几个专门的模型协作,比一个通用大模型更可靠。 | 系统 |
y7 | 把一个通用模型做得更强,比搭建组合多个模型的系统更值得投入研究精力。 | 统一 |
y8 | 可读、可编辑的显式结构(行为树、程序、规则)是让 agent 可靠的关键。 | 系统 |
y9 | 记忆、规划、反思都应该在模型内部涌现,而不是外挂上去。 | 统一 |
y10 | 上下文工程(给模型看什么)比换一个更大的模型更重要。 | 系统 |
y11 | 多 agent 系统只是弥补单个模型不足的权宜之计,模型更强之后,大部分都会变得多余。 | 统一 |
y12 | agent 应该把学会的东西沉淀成代码或规则,而不是每次都去调用模型。 | 系统 |
y13 | 把每个请求路由到模型池里够用且最便宜的模型,在性价比上会一直胜过把所有请求都交给同一个前沿模型。 | 系统 |
y14 | 所有模态联合训练的原生多模态模型,会胜过在 LLM 上外接视觉编码器或语音模块的系统。 | 统一 |
y15 | 推理时给生成模型配一个单独训练的 verifier 或 reward model,比把同样的算力花在更大的生成模型上更划算。 | 系统 |
y16 | 在一个网络内部用 mixture-of-experts 做专精才是正路,单独部署多个专家模型是工程上的弯路。 | 统一 |
y17 | 把 ASR、OCR、TTS 作为独立组件放在 LLM 周围是更好的设计,因为每一块都能单独修,不用整体重训。 | 系统 |
y18 | 训练一个模型同时搞定对话、写代码、搜索和电脑操作,好过为每个产品各维护一个微调模型。 | 统一 |
y19 | 在 SWE-bench 这类困难的 agent 任务上,把几个不同的模型组合起来,比在单个模型上继续压榨性能更值得投入。 | 系统 |
y20 | 有了百万 token 的上下文窗口,大多数 RAG 流水线都没必要了,直接把文档塞进上下文更简单,效果也更好。 | 统一 |
y21 | agent 的长期记忆应该放在文件或数据库这类外部、可检查的存储里,而不是写进权重。 | 系统 |
y22 | 领域知识应该通过继续预训练或微调放进权重,而不是在推理时从文档库里检索出来。 | 统一 |
y23 | 在大多数真实任务上,一个配了计算器、代码解释器和搜索的中等模型,能打过一个大得多但没有工具的模型。 | 系统 |
y24 | 大多数幻觉问题,靠检索来源并给出引用来解决,比继续训练模型更有效。 | 系统 |
y25 | 外部记忆文件和技能库引入的故障点比解决的问题还多;agent 的工作状态应该放在上下文里,技能应该放在权重里。 | 统一 |
y26 | 在 agent 任务上做端到端强化学习,得到的规划能力会超过任何手写的工作流或 prompt 链。 | 统一 |
y27 | 生产环境里的 agent,用固定工作流、只在指定步骤调用 LLM,比让模型自由决定下一步更可靠。 | 系统 |
y28 | 细致的分步脚手架和冗长的 system prompt 越来越拖累前沿模型,只给目标时它们反而规划得更好。 | 统一 |
y29 | agent 什么时候调用工具、什么时候重试、什么时候停下,应该由显式的状态机或编排图决定,而不是模型自己。 | 系统 |
y30 | 任务拆解应该由模型自己学会,而不是由开发者指定;手工设计的子任务图会限制 agent 的上限。 | 统一 |
d1 | 一个能干活的家用机器人,最好由感知、建图、规划、控制几个模块搭起来,而不是一个端到端策略。 | 系统 |
d2 | 足够大的语言模型可以端到端地当通用 agent 用,屏幕画面和传感器读数编码成 token 喂进去就行。 | 统一 |
d3 | 一个以动作为条件、端到端训练的视频世界模型,会取代机器人领域里手工搭建的仿真器和规划器。 | 统一 |
d4 | AI 科学家需要的,主要就是一个会调用文献检索、代码执行和符号求解器等工具的语言模型。 | 系统 |
d8 | 长期记忆应该放在推理时会更新的权重里,取代外部向量数据库和检索流水线。 | 统一 |
d9 | 可靠的推理会来自神经网络与显式符号求解器、程序搜索的结合,而不是继续放大单个网络。 | 系统 |
d10 | 朴素的 decoder-only Transformer 只要放大规模,就能在内部学会检索和规划,不需要任何新的架构组件。 | 统一 |
k1 | 视觉语言模型应该用自己的数据把视觉编码器完整地重新训练一遍,而不是冻结一个对比学习编码器、只训练投影层。 | 统一 |
k2 | 直接看原始截图、用鼠标键盘操作的 computer-use agent,最终会胜过那些拿着结构化 API 和无障碍树的 agent。 | 统一 |
k4 | 先把图像转成详细的描述文字,再让纯文本模型在上面推理,在大多数真实任务上损失不大。 | 系统 |
k7 | 模型应该自己学会压缩和管理长时间运行中的上下文,而不是依赖手写的摘要和记忆管理代码。 | 统一 |
k9 | 一个根据每个用户的交互不断更新自身权重的模型,值得为此付出可复现性和可审计性的代价。 | 统一 |
k10 | agent 在工作中学到的东西,应该存成可编辑的文本笔记和 skill 文件,而不是 fine-tune 进权重。 | 系统 |
k12 | 图像理解和图像生成各用一套视觉 tokenizer 是个错误,应该由同一套视觉表示同时服务两者。 | 统一 |
k13 | 任何真正部署的机器人学习策略之下,都应该保留经典运动规划和模型预测控制。 | 系统 |
k14 | VLA 模型应该把动作当作语言模型词表里的离散 token 来输出,而不是另接一个连续的 action head。 | 统一 |
k15 | 用多种不同机器人本体的数据训练出的单一策略,即使在某台特定机器人上,也会胜过专门为它训练的策略。 | 统一 |
k18 | 人工整理的知识图谱回答事实性问题仍然比任何语言模型的参数记忆更可靠,而且会一直如此。 | 系统 |
k19 | 多 agent 辩论提升答案质量,主要是因为采样更多;同等算力下,单个模型做多数投票就能追平。 | 统一 |
k20 | 写成可执行代码的世界模型,比如物理程序或游戏引擎,比神经网络视频模型泛化得更好。 | 系统 |
k24 | 对 coding agent 来说,改进模型外围的测试和执行脚手架,现在比改进模型本身更能提升可靠性。 | 系统 |
k25 | 对已部署的自动驾驶来说,分开的检测、跟踪、建图和规划模块仍然是正确的基础,而不是一个端到端的驾驶网络。 | 系统 |
k26 | 语音应该作为音频 token 端到端建模;把 ASR、文本模型和 TTS 串起来,会丢掉真正重要的信息。 | 统一 |
k27 | 让模型在自己的思维链里决定想多久,比在它的输出上强加 tree-of-thought 之类的外部搜索更好。 | 统一 |
k28 | 用常规方法 fine-tune 的小型专用模型,在一个团队真正需要的大多数窄任务上,能追平前沿通用模型。 | 系统 |
k29 | 物理推理需要显式的以物体为中心的 slot 表示,稠密的 patch embedding 光靠 scaling 做不到。 | 系统 |
k30 | 在足够多的文本上做 next-token prediction,网络内部就已经有了可用的世界模型,不需要单独的世界模型训练目标。 | 统一 |
范式 p
今天的主流配方是不是正路?主流一侧认为 Transformer、以预测下一个 token 或像素为目标的预训练、后训练加规模会继续赢下去,靠工程不断改进。范式转换一侧认为需要另一种范式,可以是新想法,也可以是被主流抛下的老路线,比如符号方法或进化方法。在图上,这根轴是每一格颜色的深浅。
| ID | 陈述 | 同意时 |
|---|---|---|
p1 | 五年之内,Transformer 会被取代,不再是前沿模型的默认架构。 | 范式转换 |
p2 | 现有配方(预训练 + 后训练 + 规模)足以到达通用智能。 | 主流 |
p3 | 下一个重大突破更可能来自一个小组的新想法,而不是更大的集群。 | 范式转换 |
p4 | 反向传播终将被取代,未来的前沿系统会用一种根本不同的算法来学习。 | 范式转换 |
p5 | 大多数“新架构”论文,最终都会输给加大规模的 Transformer。 | 主流 |
p6 | 部署后持续学习,是当前模型最缺的能力。 | 范式转换 |
p7 | 今天胜出的配方,大多是几十年前的神经网络老想法终于等来了足够的数据和算力;寻找新范式这件事被高估了。 | 主流 |
p8 | 我们需要全新的学习目标,而不是预测下一个 token 或下一个像素。 | 范式转换 |
p9 | 渐进的工程改进比范式革命更能推动这个领域。 | 主流 |
p10 | 十年后回看,今天的主流方法会像今天回看 SVM 一样过时。 | 范式转换 |
p11 | 在长上下文建模上,状态空间模型或其他循环结构会取代 attention,成为默认架构。 | 范式转换 |
p12 | 混合层、MoE、各种新 attention 都只是修补,Transformer 的核心模块至少还会当十年主干。 | 主流 |
p13 | 用现代的训练配方、数据和算力去训 ConvNet 和 LSTM,它们和 Transformer 的差距大部分都能补上;真正起作用的是规模,而不是架构。 | 主流 |
p14 | 像 joint-embedding 方法那样在学到的隐空间里做预测,比重建 token 或像素更适合做预训练信号。 | 范式转换 |
p15 | 模型的能力主要应该来自环境奖励驱动的强化学习,而不是对人类数据的模仿。 | 范式转换 |
p16 | 只要数据足够多样,预测下一个 token 本身就会逼着模型学出任务所需的世界模型。 | 主流 |
p17 | Test-time training,即权重针对每个新输入或新任务做适应,会成为推理的标准环节。 | 范式转换 |
p18 | 部署后的模型靠外部记忆加检索,就能拿到持续学习承诺的大部分好处,根本不用动权重。 | 主流 |
p19 | 部署的模型应该是固定的、有版本号的 checkpoint;随用户交互不断漂移的权重没法被可靠地评测。 | 主流 |
p20 | 灾难性遗忘在大规模上仍未解决,所以用更新后的数据定期重训,比在线更新权重更靠谱。 | 主流 |
d5 | 机器人部署后必须从自己的物理交互中持续学习,任何固定的预训练语料都预料不到真实世界。 | 范式转换 |
d6 | 沿用同样的 next-token 目标,继续加文本、代码和合成推理轨迹,就能不断训出更强的推理模型。 | 主流 |
d7 | 用朴素的下一帧预测训练视频模型,规模上去了就能学会直觉物理,不需要新的学习目标。 | 主流 |
d8 | 长期记忆应该放在推理时会更新的权重里,取代外部向量数据库和检索流水线。 | 范式转换 |
d9 | 可靠的推理会来自神经网络与显式符号求解器、程序搜索的结合,而不是继续放大单个网络。 | 范式转换 |
d10 | 朴素的 decoder-only Transformer 只要放大规模,就能在内部学会检索和规划,不需要任何新的架构组件。 | 主流 |
k3 | 世界模型应该在学到的隐空间里预测未来状态,而不是逐像素地生成未来的视频帧。 | 范式转换 |
k5 | 通用的机器人操作,主要缺的是在现有 Transformer 配方下多得多的真实机器人数据,而不是新的学习算法。 | 主流 |
k8 | 用 RL 训练的思维链在现有配方内部打开了一条新的 scaling 维度,未来几年还会持续带来大幅提升。 | 主流 |
k9 | 一个根据每个用户的交互不断更新自身权重的模型,值得为此付出可复现性和可审计性的代价。 | 范式转换 |
k10 | agent 在工作中学到的东西,应该存成可编辑的文本笔记和 skill 文件,而不是 fine-tune 进权重。 | 主流 |
k11 | 五年之内,前沿模型生成文本的主要方式会是 diffusion,而不是从左到右的自回归。 | 范式转换 |
k13 | 任何真正部署的机器人学习策略之下,都应该保留经典运动规划和模型预测控制。 | 范式转换 |
k14 | VLA 模型应该把动作当作语言模型词表里的离散 token 来输出,而不是另接一个连续的 action head。 | 主流 |
k16 | 直接读取原始字节、不用 tokenizer 的模型,会在前沿语言模型中取代 subword 分词。 | 范式转换 |
k17 | 根据经验改写自身脚手架代码和 prompt 的 agent,会比任何人类设计的 harness 进步得更快。 | 范式转换 |
k18 | 人工整理的知识图谱回答事实性问题仍然比任何语言模型的参数记忆更可靠,而且会一直如此。 | 范式转换 |
k20 | 写成可执行代码的世界模型,比如物理程序或游戏引擎,比神经网络视频模型泛化得更好。 | 范式转换 |
k23 | “scaling 撞墙了”的说法一再被证伪;继续放大现有配方,还会不断解锁新能力。 | 主流 |
k29 | 物理推理需要显式的以物体为中心的 slot 表示,稠密的 patch embedding 光靠 scaling 做不到。 | 范式转换 |
k30 | 在足够多的文本上做 next-token prediction,网络内部就已经有了可用的世界模型,不需要单独的世界模型训练目标。 | 主流 |
开放 o
最强的模型该掌握在谁手里?开放一侧要开放权重、开放数据、可复现的科学。闭源前沿一侧倾向于把能力集中在少数实验室,通过产品和 API 提供。这根轴不决定你在图上的格子,只在外圈给称号。
| ID | 陈述 | 同意时 |
|---|---|---|
o1 | 最强模型的权重应该开放。 | 开放 |
o2 | 前沿能力集中在少数资源充足的开发者手里,比分散到大量开放权重模型里更好。 | 闭源前沿 |
o3 | 基于闭源模型、无法复现的结果,不该算作科学贡献。 | 开放 |
o4 | 公共资金资助的 AI 研究,应该被要求公开模型、训练数据和代码。 | 开放 |
o5 | 公开完整的训练数据和配方风险太大。 | 闭源前沿 |
o6 | 能在本地运行、检查和修改模型,值得为此接受与最强闭源模型之间明显的能力差距。 | 开放 |
o7 | 商业 API 是把 AI 交给大众的最好方式。 | 闭源前沿 |
o8 | 训练数据应该完全公开、可查。 | 开放 |
o9 | 公共机构只应该采用能下载权重、能检查、能部署在自己基础设施上的 AI 模型。 | 开放 |
o10 | 一个模型一旦被开发者自己的新版本取代,就应该公开它的权重。 | 开放 |
o11 | 超过某个能力阈值的模型就不该再开放权重,因为安全对齐几个小时的微调就能去掉。 | 闭源前沿 |
o12 | 对大多数开发者来说,有了价格合理、支持微调的 API,能不能直接拿到权重基本无关紧要。 | 闭源前沿 |
o13 | 对前沿模型来说,一份评测充分的 system card 就是足够的透明度,架构和训练代码可以不公开。 | 闭源前沿 |
o14 | AI 开发者为了保住领先优势,把关键的训练创新压一年以上再发表,是正当的。 | 闭源前沿 |
o15 | 为数据清洗和配比付了钱的开发者,有正当理由把预训练数据配比当作商业机密。 | 闭源前沿 |
k28 | 用常规方法 fine-tune 的小型专用模型,在一个团队真正需要的大多数窄任务上,能追平前沿通用模型。 | 开放 |
速度 a
该走多快?加速一侧希望越快越好,认为监管和人工审批是瓶颈。审慎一侧认真对待灾难性风险,希望对齐、可解释性和独立评测跟得上。这根轴不决定你在图上的格子,只在外圈给称号。
| ID | 陈述 | 同意时 |
|---|---|---|
a1 | AI 发展得越快越好。 | 加速 |
a2 | 先进 AI 在本世纪内造成全球性灾难的概率超过百分之十。 | 审慎 |
a3 | 监管对 AI 的伤害大于帮助。 | 加速 |
a4 | 在对齐问题解决之前,应该放慢前沿模型的训练。 | 审慎 |
a5 | 给 agent 的自主权越多越好,人类审批是瓶颈。 | 加速 |
a6 | 可解释性研究应该比能力研究获得更多资源。 | 审慎 |
a7 | “AI 末日论”主要是营销或者恐慌。 | 加速 |
a8 | 前沿模型部署前应该由独立机构做安全评测,即使这会让发布推迟几个月。 | 审慎 |
a9 | 推迟 AI 在医学和科学上的应用,代价比提前部署带来的风险更大。 | 加速 |
a10 | 每次前沿模型发布带来的安全经验,比事前多年分析都多,所以不该因为理论上的风险压着不发。 | 加速 |
a11 | 开发者应该事先承诺:一旦评测发现现有防护控制不住的危险能力,就暂停训练。 | 审慎 |
a12 | 对最大规模训练的算力设一个国际上限,即使会拖慢进展,也是值得的。 | 审慎 |
a13 | 编程 agent 在测试通过后,应该可以自己合并并部署改动,不需要人工 review 这一步。 | 加速 |
a14 | 对前沿模型强制实行部署前许可制度,主要作用是巩固既有玩家,而不是让模型更安全。 | 加速 |
a15 | 能替用户花钱或发消息的 agent,每一次这类操作前都应该得到人的明确确认,哪怕是小额的日常操作,哪怕这样很麻烦。 | 审慎 |
k6 | 开发者应该宁可牺牲一些准确率,也要让推理轨迹保持人类可读,而不是任由 RL 把它们推成读不懂的序列。 | 审慎 |
k9 | 一个根据每个用户的交互不断更新自身权重的模型,值得为此付出可复现性和可审计性的代价。 | 加速 |
k17 | 根据经验改写自身脚手架代码和 prompt 的 agent,会比任何人类设计的 harness 进步得更快。 | 加速 |
计分
每道题五档:强烈同意 +2、同意 +1、不确定(不计分)、不同意 −1、强烈反对 −2。答案乘以这道题在各轴上的权重(同意时往哪一端走),按轴求和,再除以这根轴上已作答题目可能的最大值,得到 −1 到 +1 之间的分数。选“不确定”的题既不推动分数,也不把分数往中间拉。
score[axis] = Σ answer × weight[axis] / Σ 2 × |weight[axis]| (sums over statements not answered “unsure”)
范式等级与 p 分数的对应:
匹配
你的主义是距离你最近的那一格。距离以“格”为单位:横向一格是 2/13,纵向一格是 2/12;范式每差一个等级,相当于差约 0.7 格。正中央的大格虽然画成 3 × 2 格,但和其他格子一样按它的中心点匹配,不会因为面积大而多吸走人。简单版不看范式,只把横轴和纵轴各三等分,得到九个阵营之一。
d² = (Δx / (2/13))² + (Δy / (2/12))² + 0.5 × (Δp / 0.25)²
外圈称号各自写明条件(例如“速度 > 0.6”),满足就获得,可以同时获得多个。
校准
每个主义在图上的位置不是凭名字摆的,而是由测试本身决定的。对每个主义,先只给出它的百科词条,让人以这个主义坚定信徒的身份、在看不到坐标轴和方向的情况下答完全部题目;再用和普通测试者完全相同的计分方式算出它的坐标。
人们很少每题都选最极端的答案,所以原始分数会挤在中间。每根图轴各有一个拉伸系数,使 90% 的主义落在图的边界以内;所有测试者的分数都按同样的系数拉伸后再放到图上,因此答案相同的人和主义一定落在同一格。最后用匈牙利算法把主义分配到格子上,使整体移动最小;范式等级由拉伸后的范式分数决定。
scale x 1.4 y 1.39 p 1.52
这些作答记录在仓库的 data/calibration/personas/ 里,node scripts/calibrate.mjs 会重新完成整个校准。改了题目或词条之后,应该重新作答并重新校准。
专业版
专业版有 120 道核心题,外加最多 8 道追问。每道题除了属于某根轴,还属于这根轴下的一个子维度,结果页会逐项给出子维度的分数。题库单独编版本,目前是 v2。
| 轴 | 子维度 | 含义 |
|---|---|---|
| 表征 | 知识来源 | 知识从哪里来。语言一端认为来自人类写下的文本和代码;世界一端认为来自感知、视频以及与世界的交互。 |
| 表征 | 推理媒介 | 思考在什么里面进行。语言一端是文字、思维链和代码;世界一端是隐状态、图像、空间和模拟。 |
| 表征 | 具身 | 智能需不需要身体。语言一端认为没有身体的心智就够了;世界一端认为智能来自在物理世界里行动。 |
| 架构 | 架构 | 一个模型还是多个部件。统一一端是单一的端到端网络;系统一端是模块、流水线和多个专门模型的协作。 |
| 架构 | 记忆与工具 | 记忆和能力放在哪里。统一一端放在权重和上下文里;系统一端放在外部记忆、检索和工具里。 |
| 架构 | 控制 | 下一步由谁决定。统一一端由模型自己规划;系统一端由显式结构决定,比如工作流、行为树和编排起来的多个 agent。 |
| 范式 | 架构 | 今天的架构是不是正路。范式转换一端认为别的架构会取代 Transformer,无论新的还是复兴的老架构;主流一端认为 Transformer 只需要放大和改进。 |
| 范式 | 学习目标 | 模型应该学着做什么。范式转换一端要超越预测下一个 token 或像素的目标;主流一端认为预测加后训练就够了。 |
| 范式 | 持续学习 | 学习是否在部署时停止。范式转换一端认为模型必须从经验中持续学习;主流一端认为训练一次、部署,再靠重新训练来更新。 |
| 开放 | 权重与产品 | 模型掌握在谁手里。开放一端要所有人都能拿到权重;闭源前沿一端通过闭源产品和 API 提供能力。 |
| 开放 | 数据与科学 | 研究应该有多透明。开放一端要开放数据、配方和可复现的结果;闭源前沿一端认为其中一部分风险太大或太有价值,不该公开。 |
| 速度 | 节奏 | 进展该有多快。加速一端越快越好;审慎一端要慢到足以看清风险。 |
| 速度 | 监督 | AI 需要多少监督。加速一端认为监管和人工审批是瓶颈;审慎一端优先独立评测、可解释性和人类控制。 |
追问
核心题答完后,测试取出离你最近的四格,再从 30 道追问题里挑出方向最能把这几格分开的一道来问;每答一道就重新计算,最多问 8 道。追问页会写明它正在区分哪两个主义。追问的答案和核心题一起计分。
一致性
对横轴、纵轴、范式三根轴,一致性 = 每根轴净拉力的绝对值之和 ÷ 所有答案拉力的绝对值之和。同时同意一根轴两端的人,一致性会偏低,结果页会注明位置不太确定(低于 40%)。
consistency = Σ_axis |Σ answer × weight| / Σ_axis Σ |answer × weight|
原则
- 不给真实的研究者贴标签。词条只引用论文、模型、系统和概念。
- 每个主义都要写出它最有力的论据和最公允的批评。
- 题目尽量两边对称:每根轴上,同意会把你推向两端的题数量相当(validate 会检查)。
- 题库有版本号;改题会提升版本,旧链接里的结果仍按当时的分数显示。
参与贡献
所有内容都是仓库里的普通文件:
data/ideologies/<id>.yaml 位置、等级、名称、口号、关系、代表作 content/wiki/en/<id>.md 英文词条 content/wiki/zh/<id>.md 中文词条 data/questions.yaml 全部陈述及其权重 data/tests.yaml 两套测试的题目和版本
提交前运行 npm run validate,它会检查格子是否重叠、关系引用是否存在、两种语言的词条是否齐全。 CONTRIBUTING.md ↗
参照
形式参照了网上流行的政治测试和图谱:Political Compass 的两轴四象限;8values 及其衍生测试(9Axes、SapplyValues、LeftValues、PolitiScales 等)的多轴计分、开源题库和结果条;Polcompball 维基的词条结构与“朋友 / 亦敌亦友 / 敌人”的关系写法;网上的意识形态大图。