首页
产品
新闻
关于清程
赤兔 Chitu
模型服务测评 AI Ping
赤兔
CHITU
国产算力部署大模型神器
赤兔现已开源
开源地址:
GitHub
/
Gitee
,期待你为赤兔点星👍✨
关于赤兔
清程极智的“赤兔”高性能推理引擎定位于「生产级大模型推理引擎」。
企业在大模型私有化部署过程中,利用赤兔,可显著减少算力支出,提升模型运行速度,提升用户在推理侧的使用体验。
同时,赤兔充分考虑了企业大模型落地从小规模试验到大规模部署的渐进式特点,致力于为企业提供灵活且高效的部署方案,降低技术门槛和早期投入,助力企业逐步实现智能化转型,推动大模型在业务场景中的广泛应用。
自主
·
打破芯片绑定
昇腾、沐曦、海光等国产
芯片均适配赤兔并开源
支持各类芯片实现
FP4、FP8 推理
高适配新模型,模型发布
当日支持国产算力推理部署
极速
·
为部署降本增效
H20 算力平台部署 DeepSeek、Kimi 推理速度比国际开源方案提升 1.5x
在昇腾平台赤兔运行 Qwen3-32B 单机吞吐达到 5000 token/s,比其他开源方案加速 2x
百搭
·
兼容全硬件生态
纯 GPU 部署
纯 CPU 部署
CPU/GPU/NPU
异构混合部署
桌面工作站部署、一体机
服务器部署、算力超节点部署
灵活
·
适配各类模型
支持主流模型
DeepSeek、GLM、Qwen
等大语言及多模态模型
不挑模型参数
支持从 0.6B 到 1T 等
多种参数量模型
标准接口
兼容 OpenAI HTTP 接口
图像生成兼容 ComfyUI 接口
手把手教你部署
赤兔部署在英伟达上
赤兔部署在昇腾上
赤兔部署在沐曦上
诞生背景
当前,构建自主可控的AI技术体系已成为国家战略竞争的核心命题。随着全球科技博弈日趋激烈,人工智能作为数字经济时代的基础设施,其技术栈的完整性直接关系到国家数字主权与产业安全。在基础模型层,我国已实现重大突破,如DeepSeek、QWQ、智谱等优秀模型的出现已生动证明我国大模型具备了重构全球技术生态的能力。然而,在关键的大模型推理部署环节,产业界仍严重依赖国外工具。
在此背景下,清程极智自主研发赤兔推理引擎并与清华大学联合开源。它具备「混合硬件兼容、灵活部署、高效推理」的特点,帮助多种国产芯片实现低精度数据类型运行大模型,不仅大幅提升了推理效率,还降低了算力成本,助力企业实现从实验到规模化落地的平滑过渡,成为大模型部署的关键加速器。