2026-10-20 19:20
【太平洋科技快讯】10月20日，DeepSeek宣布将内部推理框架DeepInfer全面开源。该框架已经支撑DeepSeek V4.1 Flash实现高吞吐、低延迟的大规模推理业务，后续DeepSeek新模型的推理代码以及性能迭代优化，也将在该开源项目持续更新。
官方表示，大模型的能力上限由模型本体决定，但想要以可控成本承接大规模AI服务，推理框架这一中间层扮演关键角色。训练完成模型，而推理让模型能力落地可用。面对海量用户请求，推理框架承担算力集群调度工作，其运行效率直接影响AI服务的算力开销与能耗水平。
在此之前，DeepSeek已经开源过一系列大模型、TileLang编译工具以及推理算子库，此次继续开源内部推理框架DeepInfer，希望把自身大规模部署的实践经验对外共享，帮助开发者与企业改善推理吞吐与延迟表现，更好完成私有部署与公有云部署，降低算力成本、减少能源消耗，推动大模型技术普惠，同时也将持续支持社区开展大规模部署优化工作。
据介绍，DeepInfer推理框架集成高性能算子与深度优化推理引擎，具备分布式推理、推测解码、SWA Bounded Replay、结构化输出等功能，可兼容英伟达、华为N腾硬件平台。
除推理框架之外，deepseek-recipe生产级Token编解码组件同步开源，组件逻辑与DeepSeek官方API保持对齐，让社区开发者可以获得和官方一致的API使用体验。
扫一扫关注微信
