【每日科技網】
TencentOS Server AI全面支持滿血版DeepSeek R1,在雙機16卡的硬件環境上,分别在短輸入場景(如知識問答)以及長輸入場景(如企業私有信息的檢索增強生成)均獲得超過2.6倍的推理性能提升!
本性能評估采用2台8卡服務器,顯存總量共1536GB,部署TencentOS Server AI版,2台服務器采用RDMA高速網絡互聯,測試樣本采用通用的數據集。分别測試輸入200tokens/輸出500tokens以及輸入6144tokens/輸出1024tokens下的吞吐能力,測試結果如下:
TencentOS Server AI是騰訊雲發布的一款針對AI場景的操作系統,提供了從基礎架構到AI框架以及模型的全棧式AI環境,一方面簡化部署,另一方面通過高性能的AI框架,實現大模型如DeepSeek推理效率成倍的增加。
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
