GEO资讯

DeepSeek开源DeepInfer推理框架,AI服务成本再下一城

发布于 2026/10/23 24 次阅读
DeepSeek开源DeepInfer推理框架,AI服务成本再下一城

DeepSeek再开源,这次是推理框架

10月20日,DeepSeek宣布在此前开源一系列大模型、TileLang编译工具及推理算子库的基础上,将内部推理框架DeepInfer全面开源,并同步开放生产级Token编解码组件deepseek-recipe。据中国基金报报道,deepseek-recipe负责处理应用请求与模型输入输出之间的转换,处理逻辑与DeepSeek官方API完整对齐,第三方部署可以获得与官方一致的API体验。模型权重早已开放,这一次连部署"底座"也一并摊开,超出了不少从业者的预期。

背景:推理框架,一个长期未被公众了解的中间层

DeepSeek在公告中解释了开源逻辑:大模型的能力边界由模型本身划定,但如何以合理成本提供超大规模的模型服务,还取决于推理框架这一长期未被公众了解的中间层。面对海量用户调用,推理框架负责统筹调度庞大的算力集群,其效率直接决定AI服务的算力成本与电力消耗。据南方+报道,DeepInfer集成了高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay与结构化输出等能力,可同时运行在英伟达与华为昇腾平台上。基于该框架,DeepSeek已实现V4.1 Flash高吞吐、低延迟的大规模推理服务,后续新模型的推理代码及优化也将持续在该框架内更新。

深度分析:把压箱底的部署经验摊开

数据层面的披露同样引人注目。据厂商披露口径,目前单一集群的服务吞吐达每天155万亿Tokens,单卡每小时收入38美元(按波谷价约合253.8元)。据媒体报道,在全球头部大模型企业中,DeepSeek率先开放了原生实际运行的推理框架,云厂商可以用它部署DeepSeek模型,在负载调度合理的情况下,大规模部署非原生推理的调用成本甚至存在低于官方原生的可能。彭博社的评价是,这类能让模型在节省算力成本的同时高效产出的技术,通常是AI企业严格保密的对象,开源后一方面可以提高托管服务商的利润率,另一方面也能降低企业本地部署的门槛。技术博主同时提醒,DeepInfer需要运行在数据中心级芯片上,个人设备难以运行,直接受益者是想自建部署的企业与云服务商(媒体引述口径)。

企业视角:私有化部署门槛下移,内容底座先备好

对做GEO优化(生成式引擎优化)的从业者,这条新闻的中期含义在部署侧:推理框架开源、兼容国产算力之后,企业把AI大模型放进自己机房、让数据不出域的可行性在上升。私有化检索环境多了,企业官网内容被读取的通道也随之变多——云端AI搜索引用与企业本地知识库问答,可能指向同一份内容。河北极欧智推科技有限公司(jiougeo.com)在项目中建议客户提前做两件事:把产品、资质、案例等核心信息整理成口径一致的事实层;再按不同检索环境的技术要求做结构化适配。部署侧的选择越多样,统一的内容底座越省事。

趋势研判:开源竞争从权重走向全栈

从模型权重、算子库、编译工具到推理框架,DeepSeek的开源边界在持续外移。据世界互联网大会官网消息,11月初举行的2026年乌镇峰会也将聚焦"开源开放"主题。往后值得跟踪的节点有三个:其他头部厂商是否会跟进开放推理框架;基于DeepInfer的第三方部署能跑出怎样的性能与成本数据;开源生态能否把大模型服务的价格继续往下压。可以确认的趋势是,AI行业的竞争已经从单纯的模型能力,延伸到模型、算子、框架与算力协同的全栈效率之争。

信息来源