清華大學高性能計算研究所翟季(ji)冬教授團隊、清華系科(ke)創企業清程極智今日(ri)聯(lian)合宣布，大模型推理引擎“赤(chi)兔 Chitu”現(xian)已(yi)開源(yuan)。

據(ju)介紹，該(gai)引(yin)擎首次實(shi)現在非(fei)英偉達(da) Hopper 架(jia)構 GPU 及各類國產芯片上原生(sheng)運(yun)行 FP8 精(jing)度模型，實(shi)現 DeepSeek 推理成本(ben)降(jiang)低一半、性(xing)能翻番。其定位為“生(sheng)產級大模型推理引(yin)擎”，提供(gong)如(ru)下特性(xing)：

多元算(suan)力適配(pei)：不(bu)僅支持 NVIDIA 最新旗艦(jian)到舊款(kuan)的多系(xi)列產品，也為國產芯片提供優化支持。

全場景可(ke)伸縮：從純 CPU 部署、單 GPU 部署到大規模集群部署，赤兔引(yin)擎(qing)提供可(ke)擴展的解決方案。

長期穩定(ding)運行：可(ke)應用于實際生產(chan)環境，穩定(ding)性足以承(cheng)載并發業務流量。

官(guan)方表示，當前開源(yuan)的赤(chi)兔引擎在(zai)部署(shu) DeepSeek-R1-671B 滿血版時，在(zai) A800 集群的測(ce)試中，相比部分國外(wai)開源(yuan)框架，實(shi)現了 GPU 使(shi)用量減少(shao) 50% 的同時，推(tui)理速度提升 3.15 倍。