OpenAI研发高效推理方案：模型运行成本降低50%
快科技7月1日讯据The 研发运行Information报道，多位知情人士透露，高效OpenAI工程师团队本月早些时候宣布，推理通过部署多项自主研发的模型底层优化技术，成功构建出一套高效的成本推理解决方案，预计可将模型运行成本削减超过50%。降低
这一技术突破在面向无免费或付费账户的研发运行公共访客场景（ChatGPT）中得到了验证。数据显示，高效应用该技术后，推理支撑系统运行所需的模型英伟达GPU数量被压缩至仅数百个级别，算力资源利用率实现显著跃升。成本
此前行业传闻，降低OpenAI正与博通（Broadcom）联合开发代号“墨西哥胡椒”（Jalapeño）的研发运行专用集成电路（ASIC）芯片。该芯片专为大语言模型推理场景从零开始设计，高效旨在彻底摆脱对通用GPU架构的推理依赖。这种硬件层面的根本性重构，有望将推理成本直接降低一半，带来远超传统迭代的技术红利。
随着头部AI企业逐步掌握自主算力源头，对英伟达GPU的依赖度将持续下降。这不仅打破了通用硬件产能与定价权的制约，更标志着AI产业生态的话语权正在发生深刻转移。
本文地址：https://www.huajianzixun.com/html/449f55798993.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。