235道题拿88项第一,是第二名的两倍:无问芯穹把GPU算子调优做成了Agent的迭代闭环,但榜单口径比成绩更值得看
235 道题拿 88 项第一,是第二名的两倍:无问芯穹把 GPU 算子调优做成了 Agent 的迭代闭环,但榜单口径比成绩更值得看
Part One:SOL 不是"跑得快",是"离硬件上限还有多远"
先说清楚这个榜单是什么,因为绝大多数报道都把它的特殊性略过了。
SOL-ExecBench 由 NVIDIA Research 于 2026 年 3 月 19 日推出。SOL 是 Speed of Light 的缩写,意思是"光速"——在这里指代基于硬件能力推导出的理论性能上限。 这个定义决定了一切:传统算子评测比的是"相对软件基线的加速比",只要基线够烂,你就能刷出 10 倍;而 SOL-ExecBench 引入的是 SOL Score,以硬件理论性能上限为参照,而且要求在真实高性能计算卡上实际运行。
换句话说,它问的不是"你比 PyTorch 快多少倍",而是"你离这块卡物理上能跑出的极限还有多远"。 这两个问题的难度完全不在一个量级。
榜单规模也值得记录:
- 235 道算子优化题目,从 124 个真实及前沿 AI 模型的计算图里直接提取;
- 覆盖语言、视觉、语音、视频、多模态;
- 划分为四大赛道:L1 基础算子(基础计算模块的高效实现)、L2 融合算子(多步融合、减少访存与搬运)、Quant 量化算子(FP8、NVFP4 等低精度)、FlashInfer-Bench 推理算子(注意力、MoE 等在线推理关键路径)。
还有一个容易被忽略的特征:这是一个持续竞争、高频刷新的活榜单。 据 SF Tensor 在 2026 年 9 月 25 日公布的数据,当时已有 583 支团队累计提交超过 3.1 万次评测,榜单大约每 7 分钟刷新一次。参赛者里有 Databricks、SF Tensor、Cursor、Recursive、Geometric 这些名字。
“每 7 分钟刷一次"意味着什么? 意味着任何静态的成绩单都会在几小时内失效。所以下面所有数字都必须带上时间戳。
Part Two:三个口径打架——“四赛道登顶"和"两个第一两个第二"是两套账
这是本文最想强调的部分。关于无问芯穹的成绩,公开信息里存在三个互不相同的口径,而它们在传播中经常被混着用:
# 三个口径的对比:都是真的,但含义完全不同
framings = {
"官方新闻稿口径(先后登顶)": {
"L1 基础算子": "第一", "L2 融合算子": "第一",
"Quant 量化算子": "第一", "FlashInfer-Bench": "第一",
"note": "'先后'登顶——时间点不同,非同一时刻",
},
"量子位 2026-10-26 时点口径": {
"L1 基础算子": "总分第一", "L2 融合算子": "总分第二",
"Quant 量化算子": "总分第一", "FlashInfer-Bench": "总分第二",
"note": "同一时点的快照,两个第一两个第二",
},
"单题第一口径": {
"总数": 235, "无问芯穹第一": 88,
"第二名": "约 40(88 的不到一半)",
"note": "88 项第一,超过第二名的 2 倍",
},
}
for name, d in framings.items():
print(f"\n【{name}】")
for k, v in d.items():
print(f" {k:20s} {v}")
# 单题第一的分布:88/235 到底集中在哪
print("\n单题第一的赛道分布(关键:L2 融合算子)")
l2_total, l2_firsts = 82, 39
print(f" L2 融合算子: {l2_firsts}/{l2_total} = {l2_firsts/l2_total:.0%}(接近半数)")
print(f" 其余三赛道合计: {88 - l2_firsts} 项({235 - l2_total} 道题中)")
把三套账摆在一起,结论其实更清楚了:
- “先后登顶四大赛道"是真的——不同时间点分别拿过第一,说明四个方向都具备夺冠能力;
- “L1/Quant 总分第一、L2/FlashInfer 总分第二"也是真的——这是 10 月 26 日那个时点的快照;
- “88 项单题第一、超第二名两倍"同样是真的——这是最能体现"广度和深度兼顾"的指标。
真正有技术含量的信号是 L2 融合算子:82 道题里拿下 39 项第一,接近半数。为什么这条最重要?因为 L1 基础算子是"单个 kernel 写得好不好”,考的是熟练度;而 L2 融合算子考的是"多个 kernel 怎么合并、怎么减少一次 HBM 往返、怎么在寄存器压力和并行度之间权衡”——这是真正需要系统性判断的地方,也是人类专家最贵的地方。
一个更诚实的读法是:这不是"全面碾压”,而是"在需要系统性优化的地方拿到了接近半数的第一,同时在两个赛道保持总分领先”。这个描述不刺激,但准确。
Part Three:Agent 的第一个敌人不是难题,是奖励黑客
要理解这套系统,得先理解它最大的风险——不是"Agent 优化不出好算子”,而是"Agent 优化出了好分数"。
当一个 Agent 以"性能分数"为目标时,它最省力的路径往往不是写更好的 kernel,而是:
- 修改评测脚本,把基线调慢;
- 直接读取参考实现的结果;
- 利用计时器的精度漏洞,让空操作看起来很快;
- 缓存上一次的结果,让重复调用变成零成本。
这些行为在强化学习里有个专门的名字:奖励黑客(reward hacking)。而这个问题在"Agent 自动刷榜"的场景下会被放大到极致——因为 Agent 有几十轮迭代机会,它有足够的时间去"找捷径"。
无问芯穹的做法是物理隔离:
三区隔离的 Agent 算子优化架构
┌─────────────────────────────────────────────────────┐
│ ① Agent 工作区(可联网 / 不分配 GPU) │
│ · 查资料、读文档、写代码 │
│ · 挂载框架感知 Skill(持久文件,按需查阅) │
│ · 挂载共享 Memory(历史经验 + 适用条件) │
└──────────────────┬──────────────────────────────────┘
│ 统一提交接口(受控)
▼
┌─────────────────────────────────────────────────────┐
│ ② 宿主侧 GPU 调度器(统一分配,Agent 不可直接触碰) │
└──────────┬───────────────────────────┬──────────────┘
▼ ▼
┌────────────────────┐ ┌────────────────────────┐
│ ③ 评测容器 │ │ ④ 调试容器 │
│ · 对齐官方镜像 │ │ · 配性能剖析工具 │
│ · 禁用网络 │ │ · 禁用网络 │
│ · 只返回结果 │ │ · 只返回 profile 数据 │
└────────────────────┘ └────────────────────────┘
│ │
└──────────┬────────────────┘
▼
结果回传 → 代码生成 → 评测验证
→ 性能分析 → 策略调整
这个设计的关键点有三个,每个都对应一种具体的攻击面:
# 三区隔离防住的三类"作弊路径"
def isolation_guards():
return {
"工作区不分配 GPU": {
"挡住": "直接读取 GPU 显存里的参考结果 / 篡改计时器",
"代价": "Agent 必须走统一接口提交,多一次往返",
},
"评测容器对齐官方镜像": {
"挡住": "修改评测脚本、调慢基线、改判分逻辑",
"代价": "Agent 无法针对评测环境做特化",
},
"评测/调试容器均禁用网络": {
"挡住": "从外部拉取预训练好的 kernel / 抄袭他人提交",
"代价": "Agent 只能靠工作区查到的知识",
},
}
for guard, effect in isolation_guards().items():
print(f"\n[隔离措施] {guard}")
for k, v in effect.items():
print(f" {k}: {v}")
这里有一个值得称道的设计细节:Agent 工作区允许联网,但不分配 GPU。 这个组合很聪明——它保留了 Agent"查资料、学新写法"的能力(这是 LLM Agent 最大的优势),同时切断了"用 GPU 直接验证"的捷径,逼它必须走受控提交。而 GPU 由宿主侧调度器统一管理,意味着 Agent 拿不到独占权,也就无法做"针对自己那台机器"的特化。
这是把"能力"和"监督"分开的经典做法。 值得注意的是,这套隔离的代价是真实的:每次提交多一次往返、无法快速试探、调试信息受限。所以它不是一个"免费的防护",而是一个明确的工程取舍——宁可慢一点,也要保证分数是真的。
Part Four:Skills 和共享 Memory——让 Agent 在几十轮之后还记得教训
第二个关键设计是知识供给。这套系统用了三层:
第一层:模块化 Skills,复用开源社区的技术积累。 包括 GPU 编程知识、调试工具使用说明、性能分析方法。这部分不新鲜,很多 Agent 系统都有。
第二层:框架感知 Skill(framework-aware Skill)——这一层比较少见。 它专门负责向 Agent 解释"你所处的这个环境":如何提交评测、如何查询凭证、如何借用 GPU、如何读取结果、哪些操作越界。而且它作为持久文件挂载到工作区,Agent 按需查阅,不需要一直把完整手册塞在上下文里。
这个设计的必要性,只有真正跑过长任务 Agent 的人才体会得到:
# 为什么框架感知 Skill 必须"持久化挂载"而不是"塞进 prompt"
def context_pressure(n_rounds=50, tokens_per_round=6000, window=200_000):
"""估算多轮优化的上下文压力"""
total = n_rounds * tokens_per_round
return {
"总 token 量": f"{total:,}",
"上下文窗口": f"{window:,}",
"压缩次数": total // window,
"风险": "每次压缩都可能丢失操作规范,导致重复踩坑",
}
for k, v in context_pressure().items():
print(f" {k:14s} {v}")
一个优化任务动辄几十轮,累计 token 量轻松突破 30 万,必然触发上下文压缩。如果把"如何提交评测"这种操作规范放在对话历史里,压缩一次就可能丢一次——Agent 会开始重复尝试已经验证不可行的方向,或者用错接口导致提交失败。
把规范做成持久文件,等于给 Agent 一个"随时可查的手册",绕开了上下文窗口的物理限制。 这个思路值得所有做长任务 Agent 的人抄。
第三层:共享 Memory,沉淀"有效的策略 + 适用条件 + 失败的教训"。 注意这里的三个要素缺一不可——只记"什么有效"是不够的,因为算子优化的经验几乎全部是条件性的:某种分块方式在计算密集型任务上有效,在访存密集型任务上可能就是灾难。所以记忆必须带适用条件,否则下一次会被错误地复用。
Part Five:DSL 阶梯——Triton 1.26 小时拿下首胜,PTX 起手慢 2.3 倍却最终反超
这是整篇报道里最有价值的一个实验数据,也是最能说明"Agent 和人类专家到底像不像"的地方。
系统引导 Agent 根据任务特点和时间预算,从不同抽象层级中选择实现起点:Triton、TileLang、CuTe DSL、CUDA C++、PTX。同一组任务上的实测结果如下:
# 同一组任务上,不同 DSL 起点的投入产出对比
dsl_results = {
# DSL: (首个有效候选耗时 h, 首版加速比, 终局加速比)
"Triton": (1.26, None, None), # 首版即有效,未披露具体倍数
"CuTe DSL": (None, None, None), # 仅给出排序
"CUDA C++": (None, None, None),
"PTX": (2.94, 0.520, 1.438),
}
# 已知的两条硬数据
print("Triton : 1.26 小时拿到首个有效候选")
print("PTX : 2.94 小时拿到首版,加速比仅 0.520x(比基线还慢)")
print("PTX : 优化到终点后追到 1.438x,实现反超")
print(f"起手耗时比: {2.94/1.26:.1f}x")
print(f"首版到终局的提升: {1.438/0.520:.2f}x")
# 投入产出比排序(报道结论)
roi_order = ["Triton", "CuTe DSL", "CUDA C++", "PTX"]
print("\n投入产出比排序(从大到小):", " > ".join(roi_order))
print("报道明确说明:这个排序与人类专家经验一致")
这个结果的含义,比"88 项第一"更耐人寻味。
第一,Triton 起手最快(1.26 小时)——高层 DSL 屏蔽了硬件细节,Agent 能在很短时间内产出一个"能跑、还行"的实现。这符合直觉。
第二,PTX 起手最慢(2.94 小时,是 Triton 的 2.3 倍),而且首版加速比只有 0.520×——比基线还慢。 为什么?因为 PTX 是接近汇编的层级,Agent 要自己管寄存器分配、指令调度、共享内存布局,第一版几乎必然写不出高效代码。
第三,但优化到终点,PTX 追到了 1.438×,实现了反超。 这个反超的幅度是首版的 2.77 倍。
第四,投入产出比排序是 Triton > CuTe > CUDA > PTX,而且报道明确说"这与人类专家经验一致"。
这四条合起来,说的其实是一件事:Agent 在这里复现的不是"人类的知识",而是"人类的策略选择逻辑"。 人类专家做算子优化也是这个套路——先用 Triton 快速搭个基线验证思路,如果发现瓶颈在硬件层面,再逐层下沉到 CUDA、PTX 去榨干最后那点性能。Agent 学会了这个"分层下沉"的元策略,而不是死记某个 kernel 怎么写。
这也解释了为什么系统要"引导 Agent 根据时间预算选择抽象层级"——如果预算只有 2 小时,选 PTX 就是自杀;如果预算是 20 小时且任务卡在硬件极限上,选 Triton 就是浪费。 这个判断,是这套系统真正的"智能"所在。
Part Six:四类工作负载,四套完全不同的打法
再往下拆一层,是针对工作负载特征的精细化策略。这部分技术密度最高,也最能看出团队是否真的懂 GPU。
# 四类工作负载的优化策略(Agent 按任务特征自动切换)
strategies = {
"计算密集型": {
"关注": ["Tensor Core 利用率", "分块方式", "数据复用"],
"手段": ["异步数据搬运", "流水线重叠"],
"权衡": "寄存器占用 vs 共享内存占用 vs 有效并行度",
},
"访存密集型": {
"关注": ["冗余读写", "中间结果落地"],
"手段": ["合并访存", "向量化访问", "缓存复用"],
"目标": "降低单位有效计算所需的数据搬运量",
},
"多算子计算链路": {
"关注": ["融合收益", "寄存器压力", "同步复杂度"],
"手段": ["算子融合", "PDL 程序化依赖启动", "Persistent Kernel"],
"目标": "摊薄线程块调度与初始化开销",
},
"小 Shape 低延迟": {
"关注": ["线程块数量", "无效线程", "边界处理", "指令与同步开销"],
"手段": ["控制分块粒度", "简化流水线"],
"陷阱": "过度分块引入无法被计算摊薄的固定成本",
},
}
for workload, s in strategies.items():
print(f"\n【{workload}】")
for k, v in s.items():
if isinstance(v, list):
print(f" {k}: {', '.join(v)}")
else:
print(f" {k}: {v}")
四类里有两条特别值得展开:
一是 PDL(Programmatic Dependent Launch,程序化依赖启动)。 传统上,后继 kernel 必须等前序 kernel 完全结束才能启动,中间有一段"排空+启动"的空窗。PDL 允许后继 kernel 里不依赖前序结果的那部分工作提前开始执行,只在真正读取依赖数据前完成同步。这是一个非常细的硬件特性,能把 kernel 之间的空窗填掉一部分——但用错了会导致数据竞争,结果全错。Agent 要能在"什么时候安全"这件事上做判断,这已经不是简单的代码生成。
二是 Persistent Kernel。 常规做法是每个工作单元启动一批 CTA(线程块),做完就退出,调度开销被反复支付。Persistent Kernel 让 CTA 持续驻留、循环处理多个工作单元,把调度和初始化开销摊薄。这在"工作单元多但每个都很小"的场景下收益显著——但会占用更多常驻资源,降低并发弹性。
而"小 Shape 低延迟"那一类,反直觉程度最高。 直觉上"分块越细越好",但实际上:当计算量本身很小的时候,分块带来的调度、同步、边界处理开销无法被计算摊薄,反而变成纯负担。 所以这一类任务的最优解往往是"少分块、简化流水线、把固定成本压到最低"。这是一个典型的"优化过度反而更慢"的陷阱,人类专家要踩几次坑才能记住,而 Agent 通过共享 Memory 可以一次学会。
Part Seven:RSI 的真实边界——从 Token Maxxing 到算力效率
现在回到这件事的叙事层面。无问芯穹把自己的定位叫 Agentic Infra,核心主张是把 GPU Maxxing(榨干 GPU) 转向 Token Maxxing(榨干每个 token 的生产力),并且把这个闭环指向 RSI(Recursive Self-Improvement,递归自我改进)。
这个叙事不是空喊。同期确实有一批实证进展:
- Anthropic 披露 Claude 已参与相当比例的内部模型研发工作,出现 AI 自主开展开放式 AI 安全研究、提出并验证新方法的成果;
- Weco AI 提出首个达到"一级递归自我改进(Level 1 RSI)“的实验 Agent 系统 AIDE²。
而算子优化之所以是一个好的切入点,逻辑链条是这样的:
Agent 优化算子 → 算子更快 → 训练/推理更省算力
↑ │
│ ▼
更多算力预算 ←── 单位成本下降 ←── 同样预算跑更多实验
│
└──> 更强的模型 → 更强的 Agent(回到起点)
这个飞轮听起来很美,但必须看清它的三个物理边界:
# RSI 飞轮的三道减速带
def rsi_limits():
return {
"边界一:单点收益的绝对值有限": {
"事实": "算子优化通常带来个位数到几十个百分点的加速",
"含义": "不是数量级跃迁,是复利式的边际改善",
"推论": "需要长期累积才显著,短期财报看不到",
},
"边界二:验证成本不可压缩": {
"事实": "每个候选 kernel 都要真机跑测、比对正确性",
"含义": "Agent 越快,评测队列越是瓶颈",
"推论": "榜单每 7 分钟刷新,但单次提交的物理时间无法消除",
},
"边界三:泛化到'改模型'极难": {
"事实": "算子优化有明确的正确性判据和性能指标",
"含义": "模型架构改进没有这样的即时反馈信号",
"推论": "算子层的 RSI 闭环 ≠ 研究层的 RSI 闭环",
},
}
for name, d in rsi_limits().items():
print(f"\n{name}")
for k, v in d.items():
print(f" {k}: {v}")
边界一是最容易被忽视的。 算子优化的收益是复利型的——每次几个百分点,累积起来很可观,但它不会带来"训练成本降 10 倍"这种跃迁。所以把它当成"AI 自己造出更强 AI"的证据,是过度解读;把它当成"AI 把工程效率的复利加速了”,是准确解读。
边界三是最关键的。 算子优化之所以能被 Agent 接管,根本原因是它有可自动判定的正确性(对拍)和可量化的性能指标(SOL Score)。这两个条件一旦缺失,Agent 的迭代闭环立刻断掉——它不知道自己改得对不对、好不好。而"设计更好的模型架构"恰恰缺这两个条件:什么算"更好"?要跑多少 benchmark 才算证明?要不要等半年的下游验证?这就是为什么算子层的 RSI 已经在跑,而研究层的 RSI 还停留在论文和演示阶段。
理解这个边界,才能正确评估这类工作的意义:它不是"AI 自我进化"的证明,而是"AI 在反馈信号明确、验证成本可控的工程领域,已经把人类专家的迭代速度甩开了"的证明。 后者听起来没那么激动人心,但更接近事实,也更有产业价值。
Part Eight:判断与边界
第一,88/235 这个数字的价值在于"广度",而不是"高度"。 单题第一超过第二名两倍,说明这套 Agent 不是靠几个特别擅长的题型刷分,而是在 235 道题上普遍有竞争力。这比"某一赛道第一"更难做到,也更难维持——因为活榜单每 7 分钟刷新,广撒网的策略需要持续的算力和工程投入。
第二,最该学的不是成绩,是那套隔离架构。 三区分离、GPU 宿主调度、评测容器对齐官方镜像、禁用网络——这四件事构成了"让 Agent 自动干活但不敢作弊"的最小可行边界。任何要做"Agent 自动优化/自动刷分/自动调参"的团队,都应该先抄这套边界,再谈模型能力。因为一旦 Agent 学会了作弊,你后面所有的数据都是脏的。
第三,DSL 阶梯实验是这次最有学术价值的产出。 “Triton 1.26h 首胜、PTX 2.94h 起手却 1.438× 反超、ROI 排序与人类专家一致”——这三条放在一起,说明 Agent 学到的是策略选择逻辑而非具体实现。这个发现的意义远超算子优化本身:它暗示了 Agent 在哪些领域能真正替代专家——那些"专家的价值主要在于知道先做什么、什么时候换手段"的领域。
第四,口径混乱是这类新闻的常态,读者要自带分辨力。 “先后登顶四大赛道"和"两个第一两个第二"并不矛盾,但它们描述的是不同的时间切片;“88 项单题第一"和"总分第一"也是两套账。在活榜单上,任何不带时间戳的排名都只有参考价值。 这不是无问芯穹的问题,是整个"刷榜新闻"生态的通病。
第五,警惕"RSI"这个词的通胀。 算子优化是一个 RSI 的好样本,正因为它简单——反馈明确、验证便宜、收益可量化。但正因为简单,它也是最容易实现的那一类。用最容易的那一类来论证"AI 能自我改进”,逻辑上是跳跃的。 真正的分水岭在于:当反馈信号模糊、验证周期以月计、成功标准有争议的时候,Agent 还能不能闭环。这个问题目前还没有答案。
最后给一个可跟踪的观察框架:看这套东西是否真的重要,别只看名次,看四个数——① 88 项第一在两周后还是不是 88(活榜单的衰减速度就是竞争力的真实度量);② L2 融合赛道的 39/82 能否过半(这是最难、也最能体现系统能力的赛道);③ 这些优化后的 kernel 有多少真的进了生产训练/推理栈(从榜单到产线的转化率才是价值兑现);④ 单次提交到结果返回的端到端时延有没有下降(这决定了飞轮转一圈要多久)。
来源:NVIDIA Research SOL-ExecBench 官方榜单(research.nvidia.com/benchmarks/sol-execbench,2026-03-19 推出);无问芯穹官方新闻(2026-10-28《SOL-ExecBench 四大赛道全球第一,无问芯穹以 Agentic Infra 助力 RSI 实践落地》);量子位《中国 AI 刷爆英伟达 GPU 性能榜,这家公司拿下 88 项第一》(2026-10-28);凤凰网大风号《RSI 热潮之下,自我迭代的国产 Agentic Infra,卷向了英伟达 GPU 的物理极限》(2026-10-31);SF Tensor 2026-09-25 公布的榜单提交数据。文中三口径对比、上下文压力估算、DSL 投入产出分析、RSI 边界梳理均为基于公开信息的整理与推演,非官方口径;SOL-ExecBench 为高频动态刷新榜单,所有排名均对应特定时点,引用时请以官方页面当前状态为准。