把评测装进Docker把成本砍到1/50,商汤RoboRSI开源背后,具身智能离真能干活还有多远?
把评测装进Docker、把成本砍到1/50:商汤RoboRSI开源背后,具身智能离"真能干活"还有多远?
引言
一只机械臂正在笨拙地叠碗。它试了很久,终于完成——但平均耗时约131分钟、估算推理费用约19美元。把一支笔插进笔筒,更夸张:平均263分钟、约55美元。任务确实"完成了",可这样的速度,离"日常可用"显然还有十万八千里。
这是商汤在系统性测试OpenAI GPT-6-Astra时遇到的一幕。它抛出一个连行业都很难量化的问题:大模型在虚拟评测里的高分,距离真实世界的稳定执行,到底隔了一整套怎样的工程系统?
10月20日,商汤发布《GPT-6-Astra是否实现了具身智能》系统研究报告,并同步开源两样东西:日日新 SenseNova-RoboRSI 框架(把各类具身评测装进Docker镜像、用统一HTTP API解耦评测环境与模型),以及一个27B的具身模型SenseNova-RoboRSI-27B-Preview(把目标理解、动作决策、反馈纠错内化到参数里,让任务完成成本降到GPT-6-Astra的1/50)。
这篇文章,我想顺着商汤这份研究和开源动作,把具身智能的"评测-效率-落地"三角难题拆开:先从评测为什么是具身智能的卡点讲起,再讲RoboRSI如何用Docker"解耦评测环境"降低复现门槛,接着谈27B模型如何在成本上做到1/50,最后落到"具身智能真正难的,是让模型把’知道怎么做’变成’稳定做得出来’“这一个共识上。
Part One 高分模型上了真机,为何"一测就露馅”
先把商汤这份研究的核心发现讲清楚。
商汤用12个仿真评测榜单、8款真机器人,对GPT-6-Astra做了系统测试。结果呈现出一种典型的两面性:
- 在部分传统具身基准里,GPT-6-Astra分数非常高:LIBERO-Long++达到100%,LIBERO-Pro达到99.3%,SIMPLE达到98.8%,RoboDojo达到81.9%;
- 但一旦进入真机环境,复杂任务表现明显下滑。插头插入、柔性材料操作、长序列导航等任务,都暴露出视觉、动作控制、时间约束和物理反馈之间的断点。
更耐人寻味的是那个"5次全失败"的插曲。商汤在RoboDojo仿真评测里发现,有9个任务原本是连续5次全失败。他们没有重新训练模型,只做了一件事:允许模型继续交互,把步数上限提高到原来的10倍。结果这9个任务变成了5次全部成功。
这个发现极其反直觉,也极其贵。看商汤披露的成本:叠碗平均耗时约131分钟、估算推理费用约19美元;把笔插进笔筒平均耗时263分钟、约55美元。也就是说,有些任务"不是不会做,是我们太早按下了停止键"——但代价是任务时间与推理成本同步飙升。能在合理预算内做成,才是真本事。
还有一个很有代表性的真机片段:一次插花实验中,GPT-6-Astra看不清瓶口,便主动移动空闲的机械臂,用另一只手上的相机"帮自己看清",随后完成插入。它把第二只手,变成了自己完成任务的"眼睛"。这说明通用模型确实拥有相当强的视觉理解与空间推理能力——“知道应该怎么做"它做到了,“稳定做出来"仍差一口气。 而这口气,恰恰卡在评测与真实使用之间的那道裂缝上。
Part Two 为什么评测是具身智能的隐秘卡点
商汤对"现有评测和真实使用之间的差距"提出了一个很尖锐的批评,并用三条准则勾勒了未来具身榜单应有的样子:
第一,任务应从人的真实需求出发。 评测要围绕人希望机器人实际完成的事项设计,同时考虑操作可能产生的副作用,以及那些"没有被明确说出的责任”。
第二,经验应通过自主交互获得。 当缺少针对特定任务和场景的演示时,机器人需要自主探索环境、学习方法,并根据反馈动态调整策略——而不是靠背演示。
第三,世界不会等待模型思考。 模型思考期间,环境仍在持续变化。所以评测应当把"思考"和"行动"都计入世界时间,考察任务完成情况、完成是否及时,以及执行过程中产生的后果。
这是具身智能行业长期被忽视的结构性问题。传统Benchmark往往只问"动作是否成功”,却忽略了:任务是否来自真实需求?机器人是一步步摸索学会的,还是照搬示范?在环境和时间都在流逝的真实场景里,它真的能按时、合副作用地完成吗?
商汤甚至搭了一个支持物理交互的"样板间"来演示这个道理:机器人在里面操作家具、物品、家电,即使模型正在思考,流水、加热等过程也继续发生。他们在样板间里观察到GPT-6-Astra的几类代表性问题——整理桌面时,它移动手中的书,却碰落其他物品、推歪显示器;收纳食品时,它转去搬运水果,却让冰箱门持续敞开好几分钟。这些正是"高分虚拟模型"与"真实世界稳定执行"之间的断点,也是导航、感知、规划、控制、反馈这一整条闭环没有真正咬合的证据。
Part Three RoboRSI:把评测装进Docker,用HTTP API解耦环境与模型
理解了评测是卡点,再看商汤的开源动作,方向就清晰了。
SenseNova-RoboRSI 框架的核心思路,是把各类具身Benchmark及其运行依赖封装为独立的Docker镜像,通过统一HTTP API提供环境交互与原生评分服务,从而让"评测环境"与"Agent模型、策略"实现解耦。这样做的直接好处显而易见:研究人员不再需要手动部署复杂的仿真环境,只需准备对应的配置文件,就能一键完成端到端评测与结果复现。既降低了复现门槛,也方便社区在统一环境下验证结果、横向比较不同模型与Harness设计。
我用一段代码示意图来展示这种"评测环境解耦"的工作方式——把Benchmark隔离在容器里,模型通过HTTP API与之对话:
import subprocess, requests, time, json
class BenchmarkGateway:
"""把评测环境封装成独立的 benchmark 进程/容器, 对外暴露统一 HTTP API"""
def __init__(self, image_tag, env_cfg, api_base="http://127.0.0.1:8600"):
self.api_base = api_base
self.image_tag = image_tag
self.env_cfg = env_cfg
def launch(self):
# 示例: 以独立容器启动评测环境(解耦模型与仿真)
cmd = ["docker", "run", "-d", "--rm", "-p", "8600:8600", self.image_tag]
self.container_id = subprocess.check_output(cmd, text=True).strip()
# 等待就绪
for _ in range(60):
try:
r = requests.get(self.api_base + "/health", timeout=1)
if r.status_code == 200:
print(f"[gateway] container ready: {self.container_id}")
return
except requests.RequestException:
time.sleep(1)
raise RuntimeError("benchmark container failed to become ready")
def reset_task(self, task_id):
# 重置到指定任务初始状态
return requests.post(self.api_base + "/reset",
json={"task": task_id, "cfg": self.env_cfg}).json()
def step(self, action):
# 向环境提交动作, 返回观测 + 原生评分
return requests.post(self.api_base + "/step", json={"action": action}).json()
def submit_result(self, task_id, trace):
# 统一口径结算, 保证复现一致性
return requests.post(self.api_base + "/score",
json={"task": task_id, "trace": trace}).json()
# 用法: 把"叠碗"benchmark 封装进镜像, 模型只通过 HTTP API 与环境交互
gw = BenchmarkGateway(image_tag="robobench/stacking:0.6",
env_cfg={"max_steps": 50_000, "world_time": True})
gw.launch()
obs = gw.reset_task("stack_bowls")
# ... policy(obs) -> action -> gw.step(action) ...
print("submitted:", gw.submit_result("stack_bowls", trace={}))
这段代码想表达的不是某个真实实现,而是RoboRSI把"评测"做成一件可复用、可复现、可横向比较的基础设施这件事本身的价值:当所有Benchmark都能被一键拉起、用同一套HTTP API结算时,“榜单分数"才真正变成一门可以被反复检验的工程学,而不是各家自说自话的数字游戏。
Part Four 27B模型如何把成本做到1/50
在评测框架之外,商汤另一个动作是把实验中验证有效的经验"沉淀回模型本身”。SenseNova-RoboRSI-27B-Preview通过多模态监督迭代,把目标理解、动作决策、反馈纠错能力内化到模型参数里。官方公布的多个Benchmark结果相当亮眼:
- 在 RoboDojo 上取得26.13分,任务成功率20.83%;
- 在 LIBERO-Pro 上,无论采用快慢协同(System-2 + System-1)还是由System-2直接控制,性能均突破90分,仅次于GPT-6-Astra,体现了跨系统架构设计的泛化能力;
- 在 RoboCasa365 上,任务成功率由26.0%提升至46.5%,同时任务Token开销减少73%。
关键在于,它用"小模型 + 能力内化"换来了极致的成本效率。相比GPT-6-Astra那种"开着大模型反复试错"的高昂做法——叠碗131分钟/19美元、插笔263分钟/55美元——27B模型完成具身任务的成本降到了前者的1/50。它通过更小的体量降低单次推理成本,又通过把具身能力内化、减少冗余推理与试错,实打实地压低了"单位任务成本"。
我用一段代码,把"能力内化减少试错 vs 大模型反复重试"的成本差异做一个直观对比:
def task_cost_estimate(model_tag, base_inference_per_step, success_steps_mean,
budget_multiplier=1.0):
"""估算一次任务的期望成本: 平均推理成本 × 期望步数"""
expected_steps = success_steps_mean * budget_multiplier
expected_cost = base_inference_per_step * expected_steps
return {"model": model_tag, "expected_steps": expected_steps,
"expected_cost_usd": round(expected_cost, 2)}
# 假设: GPT-6-Astra 单步推理成本高, 且易靠多试错(预算×10)才成;
# 27B 单步便宜, 且内化后试错少(预算≈1)
gpt6 = task_cost_estimate("GPT-6-Astra", base_inference_per_step=0.15,
success_steps_mean=3600, budget_multiplier=10)
roborsi = task_cost_estimate("RoboRSI-27B", base_inference_per_step=0.002,
success_steps_mean=720, budget_multiplier=1)
print(gpt6)
print(roborsi)
print(f"成本倍数(27B/GPT-6): {roborsi['expected_cost_usd']/gpt6['expected_cost_usd']:.2f}x")
(数值为示意,真实以官方口径为准。)
背后真正的工程逻辑是:具身智能最终比拼的,不只是基础模型能力,还包括模型如何调用工具、如何理解反馈、如何分配推理预算、如何与不同机器人本体协同。 “单位任务成本"和"有效完成率"正在取代单纯的Benchmark排名,成为衡量具身智能是否真正可商业化的硬指标。
Part Five Re-visiting the “Do We Give It Another Chance” Question
在展开对商汤与行业的影响之前,我想先把研究里那个最扎心的问题单独放大——“哪些失败值得多给一次机会?” 它看似简单,却是具身智能工程落地的一道分水岭。
我们都见过那个结果:RoboDojo里9个原本"5次全失败"的任务,仅仅把步数上限放大到10倍,就从全败变成全成。这个结果让人兴奋,也让人恐惧。兴奋在于,它证明很多任务并不是模型"不会”,而是我们给的耐心不够;恐惧在于,10倍步数换来的是131分钟、263分钟这样的天价耗时和成本。也就是说,“多给机会"与"控制成本"天然是一对矛盾,必须在两者之间找到一条可持续的平衡线。
我认为,判断"值不值得多给一次机会”,至少要看三个维度:
- 任务的可逆性:如果操作失败会对设备、环境或人造成不可逆损伤,那就不该放任模型无限重试,而应在失败N次后切换到更保守的策略;
- 成功的即时收益与失败成本:对于叠碗、插花这类"失败也无大碍"的任务,多给机会是划算的;对于精密装配、危险环境作业,一旦失败代价极高,就必须有硬性的步数或预算红线;
- 问题的结构:如果任务瓶颈在于"观察不足"(比如看不清瓶口),通过给模型更多交互机会、让它学会主动调整视角,往往比盲目重复更有价值;如果瓶颈在于"动作精度"本身,那重试再多也未必能突破物理极限。
换句话说,“多给一次机会"不该是一个浪漫的口号,而应该是一套可量化的预算分配策略。我把这个判断逻辑写成一段代码,展示如何用"风险权重 + 成功概率"来决定是否延长交互预算:
def should_retry(fail_cost, retry_cost, p_success_per_retry, max_retries,
irreversibility=0.0):
"""
根据失败成本、单次重试成本、单次成功率与任务的不可逆程度,
决定是否值得继续给机会。
"""
for attempt in range(1, max_retries + 1):
expected_gain = p_success_per_retry * (fail_cost) # 成功省下"失败代价"
expected_loss = (1 - p_success_per_retry) * retry_cost
if irreversibility > 0.7:
# 高风险任务: 尽早收手, 避免不可逆损伤
return False, attempt - 1
if expected_gain > expected_loss:
return True, attempt
return False, max_retries
# 场景A: 叠碗(失败无大碍, 成本低, 成功率随交互上升)
print("叠碗:", should_retry(fail_cost=0.5, retry_cost=0.05,
p_success_per_retry=0.8, max_retries=10))
# 场景B: 精密装配(不可逆, 高风险)
print("精密装配:", should_retry(fail_cost=100, retry_cost=0.2,
p_success_per_retry=0.2, max_retries=10,
irreversibility=0.9))
这段代码想表达的,是"多给机会"背后的工程理性:不是所有任务都该无限重试,也不是所有任务都该一刀切地立刻放弃。 具身智能的落地,本质上是在"成功概率、失败代价、时间预算、成本预算"四者之间做动态权衡。而RoboRSI这类把评测做成可复现基础设施的工作,恰恰让这种权衡第一次可以被量化、被比较、被验证。
Part Six 对商汤与行业的双重含义
商汤这份开源的意义,其实被低估了。它把具身智能研究从"模型评测"进一步推进到了"系统效率”。
先看公司与产业。2026年上半年,商汤收入29.1亿元、同比增长23.4%,首次实现IFRS口径盈利(净利润6.2亿元),生成式AI收入23.3亿元约占八成;GPU服务SenseCore在7月日均Token服务量达2.4万亿、同比增长约22倍,覆盖20多个国家地区、服务超4500家客户。商汤提出的"模型系统 + Token工厂 + Agent Harness"框架,本质上是在解决一个商业化问题:怎样把越来越强的模型能力,转化为稳定的任务交付。 具身智能恰好把这个课题放大了——机器人每完成一次任务,都要面对真实环境的不确定性,而RoboRSI这种"把评测做成基础设施 + 压缩执行成本"的路线,正与它对商业化效率的追求同频。
再看更宏观的判断。这几年大模型竞争围绕参数、推理、上下文、多模态展开,机器人则多依赖针对特定本体训练的VLA模型。GPT-6-Astra的出现把两条技术路线拉到了同一张考卷上:通用模型可以凭强大的视觉与推理能力直接进场,但"知道怎么做"和"稳定做出来"始终是两回事。仿真环境尤其容易把这种差距藏起来——数字世界规则明确、状态可控,模型能反复观察试错;现实世界却有机械碰撞、电机过热、视角受限、动作不可逆。具身智能真正需要战胜的,不是单纯的"空间智能",而是感知、规划、控制、反馈构成的完整闭环。
进一步说,当机器人本体价格下降、硬件形态丰富之后,真正稀缺的环节正逐步向"具身大脑"和任务系统迁移——谁能理解环境、规划动作、根据执行结果及时修改策略,谁就更接近通用机器人软件层。这既是对开源社区的示范,也是对"榜单分数即商业化进度"这一产业误区的当头一棒。
结语
从"叠碗要131分钟、插笔要263分钟",到RoboDojo上9个"5次全失败"的任务靠把步数上限放大10倍翻盘,商汤用一组真实而扎心的数据,把具身智能"高分与能打之间的鸿沟"摆上了台面。而它给出的解法——把评测装进Docker、用统一API解耦环境,用27B模型把成本压到1/50——与其说是一次技术发布,不如说是对具身智能研究范式的一次校正:别只顾刷榜单分数,真正的战场在真实任务完成能力、单位执行成本,以及在变化环境里的可靠性。 那台花了131分钟才叠完碗的机械臂,既是当下的一条底线,也是通往"又快又稳又便宜"的那条漫漫长路的起点。
未来具身智能的竞争,会越来越多地围绕"单位任务成本"和"有效完成率"展开。对于所有参与其中的人来说,问题的症结或许可以浓缩成一句大白话:模型知道怎么做,机器人得真能做出来,而且得快、要稳、要便宜。这条路,还很长。
但这条路也在一点点变短——因为正有越来越多像商汤这样,把评测做成可复现基础设施、把能力内化到小模型以压缩成本、把真实世界当考场去验证的团队,在扎实地推进每一步。只要有人在认真做对的事,具身智能离"真能干活"就会越来越近,哪怕只是每天比昨天少花一分钟、多便宜一分钱。走得慢不要紧,方向对了,总比原地刷榜单强。