GPT-5.6即将上线，推理狂飙750 Tokens/s！疑似横跨100张晶圆

新智元报道

【新智元导读】GPT-5.6 的即将上推理速度竟高达 750 tokens/秒！业内专家曝出重磅内幕：该模型将横跨 100 张晶圆运行。线推AI 从“思考”进化为“闪现”，理狂实时智能时代是疑似圆否已真正降临？

据多方消息证实，GPT-5.6 即将向公众开放。横跨近期，张晶关于该模型的即将上各种猜测已在社交媒体 X（原 Twitter）上引发热议。

6 月 26 日，线推OpenAI 正式宣布推出全新一代 GPT-5.6 家族。理狂官方公告明确指出：OpenAI 计划于本月在芯片巨头 Cerebras的疑似圆定制硬件上，发布全新前沿模型 GPT-5.6 Sol，横跨其推理速度达到了令人瞩目的张晶 每秒 750 个 Token。

这意味着，即将上过去需要等待数分钟的线推复杂 Agent 操作，如今仅需眨眼间即可完成。理狂

显然，OpenAI 已在“硬件与模型协同设计”领域率先迈出了颠覆性的一步。加之此前史上首款自研 AI 推理芯片 Jalapeño的曝光，OpenAI 构建全栈 AI 帝国的野心已昭然若揭。

天下武功唯快不破：750 Tokens/s 的降维打击

「每秒 750 个 Token」究竟意味着什么？

对于人类而言，这相当于每秒阅读并输出约 500 至 600 个汉字。你眼前阅读的这段文字，GPT-5.6 Sol 仅需不到零点几秒即可生成完毕。

在 X 平台上，知名开发者 Caleb Shepherd 激动地表示：「这是我最兴奋的时刻。GPT-5.6 Sol 运行在 Cerebras 上，这不仅意味着代码生成速度提升，更标志着计算机使用体验发生质变。我们不再需要为了等待 AI 点击一个按钮而苦等两分钟。」

长期以来，尽管大模型日益智能，但「推理延迟」始终是实时交互和多步 Agent 任务落地的最大瓶颈。当模型参数达到万亿级别时，传统 GPU 集群在节点间通信（如 NVLink 互联）上往往遭遇物理极限。

OpenAI 给出的解决方案是：不让模型去适应硬件，而是让硬件与模型融为一体。

根据官方披露，GPT-5.6 Sol 将于 7 月以极小规模向特定客户开放，随后随产能爬坡逐步扩大范围。正如网友猜测，这必将是一项极其昂贵的服务，专为愿意为极致速度买单的顶级企业量身定制。

3 万亿参数巨兽如何塞进芯片？

当 750 Tokens/s 的消息传出时，LLM Arena 负责人 Peter Gostev 提出了一个核心疑问：

GPT-5.6 Sol 在 Cerebras 上是如何实现的？据我所知，这似乎是完整的同一模型（包含视觉等多模态能力），而非像 GPT-5.3-Codex-Spark 那样阉割了视觉和上下文的“残血版”。

但 Cerebras 单芯片顶多容纳 7000 至 9000 亿参数。是模型变小了？还是有未知的新型芯片？亦或是某种多芯片协同新技术？

这一疑问迅速引发全网探讨。有人戏称这是在「进行法医级别的芯片审计」，并感叹：「如果这真的是完整模型，就像有人把一艘超级游轮硬塞进了玻璃瓶，且未透露方法。」

随后，资深技术专家 Bleys Goodson给出了极具说服力的硬核推演：

GPT-5.6 Sol 并非塞进一张芯片，而是横跨了 70 到 100 张 Cerebras 晶圆级芯片！

极致的部署美学：「一晶圆，一层网络」

业内专家估算，GPT-5.6 Sol 的规格极其庞大：

• 总参数量：约 3 万亿
• 激活参数：约 1500 亿
• 网络层数：约 70 到 90 层

为了获得健康的推理服务特性，OpenAI 与 Cerebras 采用了一种极其奢侈且震撼的部署方式——将每一层神经网络，单独部署在一整张 Cerebras 晶圆上。

正如一位网友所指出的：通过增加流水线阶段，只要拥有足够多的晶圆将其链接，理论上可扩展至任意大小的模型，且不会影响 Token 生成速度，仅对首 Token 时间（TTFT）有轻微影响。

壮士断腕的架构重构——被逼出来的轻量化 KV Cache

仅靠海量晶圆尚不足够。Cerebras 芯片架构的一大特点是拥有海量片上 SRAM（静态随机存取存储器），速度极快但容量珍贵。

若 OpenAI 沿用传统的重型 KV Cache，这些昂贵的 SRAM 带宽将被瞬间耗尽。这引出了本次合作最核心的战略转向：围绕特定硬件进行模型重构。

Bleys Goodson 指出，鉴于 OpenAI 深度参与硬件协同设计，他们极大概率放弃了传统注意力机制缓存方案，转而采用更前沿的轻量化设计。最可能的方案包括：

1. 类似 DeepSeek V4 的架构：极度优化缓存占用。
2. 混合 SSM 设计：将 Mamba 等线性时间复杂度模型与 Transformer 结合，彻底摆脱 KV Cache 的历史包袱。

此外，知名开发者 John Lam提出了一个惊艳的猜测——注意力与 FFN（前馈神经网络）解耦。

他推测，OpenAI 可能正使用传统 GPU 处理注意力计算，而用海量 Cerebras 晶圆暴力强推前馈神经网络部分的计算。

这并非空穴来风。网友扒出 Cerebras 此前关于 Kimi K2.6的部署细节：

• Cerebras 在 CS-3 系统上将 Kimi K2.6 原始权重以 4-bit 存储，以 16-bit 浮点计算以保证精度。
• 权重分布在多个晶圆上，激活值在晶圆间流式传输。
• 层间全互联通信依靠晶圆网络，其带宽是 Nvidia NVL72 上 NVLink 的 200 倍以上。
• 结合自定义算子和投机解码，能以接近 1000 tokens/s的速度运行万亿参数 MoE 模型。

官方规格显示，革命性的 CS-3 系统不仅速度无敌，更能在单个逻辑设备上轻松扩展至 24 万亿参数模型！

正如有人惊叹：「如果这真的是完整版 Sol 跑在 Cerebras 上，那么所有人预设的模型大小天花板，就在今夜被直接捅破了。」

真正的底牌——OpenAI 首发自研芯片「Jalapeño」

此前，OpenAI 正式发布了史上第一颗自研芯片——Jalapeño。

这颗芯片的问世，揭示了 OpenAI 与 Cerebras 合作的深层逻辑：通过在第三方顶尖推理硬件上的探索，OpenAI 彻底摸清了专用推理架构的命门和价值，并将其转化为自身可控的底层平台。

Jalapeño 是墨西哥辣椒中辣度最温和的品种之一。OpenAI 以此命名，显然表明：这只是开胃小菜。

这颗芯片是专为大模型推理设计的定制 ASIC。从设计之初，每一个晶体管都只为跑大模型而优化。

令人意外的是，Jalapeño 不仅运行 OpenAI 自家模型，其架构还兼容全行业 LLM，展现出极大的平台野心。且该芯片从设计到流片仅耗时 9 个月。

背后是强大的产业联盟：

• 架构主导：OpenAI 亲自操刀底层架构设计。
• 芯片实现与互联：芯片巨头 博通（Broadcom）提供实现能力和网络互联技术支持。
• 系统集成：Celestica负责最终的板卡制造和机架级物理集成。

吃掉整条产业链，OpenAI 的全栈帝国野心

模型自己训，芯片自己设计，推理自己优化，部署自己控制。

OpenAI 的目标是一个庞大的全栈 AI 帝国。其野心甚至超越 Apple 和 Google，构建了一个前所未有的超级飞轮：用 AI 加速 AI 基础设施建设，再用建成的更强基础设施，运行更强大的 AI。

按照 OpenAI 公布的宏伟蓝图，首批 GW 级超级数据中心将从 2026 年底开始，与微软等核心合作方共同部署。一座中型城市的全部用电量，将用于驱动 Jalapeño 及下一代辣椒芯片的推理机架。

准备好，很快，我们将见证 GPT-5.6 Sol 在 Cerebras 晶圆上以 750 Tokens/s的速度狂飙，彻底打破参数与推理速度的物理魔咒。

参考资料：

https://x.com/bleysg/status/2073937651150029084

编辑：Aeneas

本文地址：https://www.huajianzixun.com/html/634d57798788.html