迎接變革，至強可擴展處理器的技術創新為雲端AI應用打通底層瓶頸

智能革命的浪潮之中,算力普慧、算法進化、數據爆發對AI基礎設施産品組合的要求更進一步,第五代英特爾® 至強® 可擴展處理器的發布則強化了英特爾在AI産品的完整版圖。

2023年,生成式AI研究和應用的爆發給雲計算産業帶來了全新的機遇和挑戰:大模型需要龐大的算力支持,用戶普遍需要向雲計算廠商購買算力服務;且由于大量用戶湧入雲服務市場,雲廠商需要盡快升級數據中心算力以應對AI需求,同時持續降低TCO,為用戶提供價格合理的算力資源;此外,AI應用開發還涉及大量隐私敏感數據的雲端存儲和使用,雲廠商也要全力保障這些數據的安全可靠,打消用戶後顧之憂。

基于上述需求,雲廠商迫切需要對已有硬件基礎設施進行更新換代,要求新一代CPU能在保障基礎設施平穩升級疊代的同時,具備更強的性能、更低的TCO,同時能夠滿足雲端多樣化工作負載需求的較強AI能力:

對于大型雲服務基礎設施而言,穩定性、可靠性依然是王道,因此雲服務廠商升級硬件時決策更加謹慎,偏向于在有着長期延續性的主流平台上逐漸疊代,保護上層軟件應用投資,減小對基礎設施開發運維部門的沖擊。大模型在雲端訓練、推理的過程需要用戶将大量數據傳輸至雲端,雲廠商需要采取更強的安全措施,如硬件級的安全引擎來更好地保障敏感數據的安全,确保雲實例間的數據隔離,預防惡意入侵和洩漏。AI應用涉及密集的低精度矩陣運算,需要較大的内存空間。對于大模型推理應用和中小尺度(參數規模低于20B)模型的訓練應用而言,其在搭載AI加速器的CPU上運行可以獲得非常好的能耗比與性價比,還能夠以極具優勢的TCO滿足雲廠商大多數AI服務的需求。同時CPU的通用計算能力也可以為雲廠商提供充足的靈活性,有效保護基礎設施投資。

面對上述需求,英特爾作為服務器CPU領域的技術,繼年初發布第四代至強® 可擴展處理器之後,加快了産品更新節奏,于上周發布了第五代至強® 可擴展處理器,其可與上一代處理器兼容,提供硬件級安全和可信服務,并通過豐富的AI産品組合駕馭整個AI管線,從而進一步壯大了應對人工智能時代的産品組合。

技術創新解決三大維度需求,CPU 繼續扮演 AI 時代基礎設施關鍵角色

相比上一代産品,第五代至強® 可擴展處理器的核心數量增加至64個,擁有更高的單核性能和内存帶寬,三級緩存容量提升近3倍。其每個内核都具備AI加速功能,内置的英特爾® AVX-512及英特爾® AMX,能使機器學習、深度學習和大模型應用的性能大幅提升。第五代至強® 可擴展處理器還能通過英特爾® SGX/TDX為使用中的雲端數據提供端到端硬件級防護能力。與上一代至強® 可擴展處理器相比,五代至強® 在相同功耗下的平均性能提升了21%,而AI推理和訓練性能的提升更是高達42%和29%。

一系列技術創新,使第五代至強® 可擴展處理器成為AI時代雲廠商的基礎設施關鍵角色。目前,已經有多家客戶在實際業務中部署了第五代至強® 可擴展處理器,在實踐中證明了它為用戶帶來的巨大收益提升。其優異的表現得到了客戶的很高評價,也讓更多準備升級雲計算基礎設施的企業對新一代至強® 有了更高的期待。

英特爾 AMX提升大模型推理性能,助力京東升級營銷購物體驗

2023 年京東雲突破性地在數百個AI場景中應用了大模型,在數百個營銷場景中升級了原有工作流,顯著提升了商家與消費者的購物體驗。

基于自研的言犀AI與大模型,京東雲通過AIGC管道生成了30%的大促物料,京小智數字人、領航者營銷平台也在大模型支持下獲得了高達87%的商品推薦采納率,消費者應答準确率提升30%。

京東大模型第一次亮相就收獲完美成績,很大程度上要歸功于其部署的基于第五代英特爾® 至強® 可擴展處理器的新一代自研服務器,與上一代自研服務器相比整機性能提升23%,關鍵的AI CV推理性能與 Llama v2大模型推理性能更是分别提升38%與51%。

取得如此顯著的AI推理能力進步,秘訣在于第五代至強® 可擴展處理器搭載的英特爾® AMX加速引擎。其可以将INT8低精度矩陣運算速度提升一個數量級,再結合第五代至強® 可擴展處理器更高的内存帶寬與更強的多核心互聯能力,使AI推理性能相較上一代顯著提升。在11.11大促中,第五代至強® 可擴展處理器和英特爾® AMX的組合在京東雲承載的 AI 推理應用服務中大展身手,助力用戶訪問峰值同比提升170%,智能客服咨詢服務量超14億次,且并未增加能耗,也将京東雲基礎設施的運維成本維護在之前的水平内。

英特爾® TDX賦能可信計算環境,為阿裡雲客戶構築端到端數據安全城牆

對于雲計算廠商而言,要讓更多行業和組織信任雲服務,就必須提供有足夠說服力的安全隐私保障,所以雲廠商迫切需要更高水準的硬件級安全城牆。

對于雲環境中使用狀态中的數據,機密計算是實現其有效保護的良策,其為客戶敏感數據提供了基于硬件設備的可信執行環境(Trusted Execution Environment, TEE),通過隔離保護的方式來防止未經授權的入侵者訪問或修改處理中的數據。作為機密計算技術的重要引領者,英特爾® 軟件防護擴展(英特爾® SGX)技術提供了應用層面的隔離能力;而在和阿裡雲的合作中,則由英特爾® TDX技術與阿裡雲新實例搭載的可信平台模塊(TPM)相配合,結合阿裡雲自研的加密計算隔離環境enclave,為阿裡雲第八代企業級ECS實例g8i構建了一個基于虛拟化的硬件可信環境,即為整個虛拟化實例(包括虛拟機、容器)都構建出可信的邊界,由此為客戶提供了可信邊界更大、更易部署的安全雲環境。

英特爾® TDX使TEE環境的可信邊界獲得了有效擴展,從而讓IaaS、PaaS等環境中的雲工作負載都能整體納入機密計算的數據保護之下,能夠有效抵禦惡意威脅,加強雲端數據隔離。

阿裡雲自研的千問大模型就得到了英特爾® TDX的充分保護,實現模型數據端到端加密保護。英特爾® TDX技術為AI大模型這樣需要向雲端傳輸大量數據的應用場景鑄就了足夠牢固的安全保障,也為生成式AI應用廣泛普及鋪平了信任道路。此外,在引入第五代至強® 可擴展處理器之後,第八代企業級ECS實例在計算、網絡、存儲、安全等工作負載中的都得到了顯著提升,在數據庫、硬件加解密、AI應用、音視頻等場景性能提升15%~25%不等。更重要的是,八代實例保持價格不變,使阿裡雲g8i實例可以用更小的性能開銷保障用戶的數據高度安全性。

第五代至強® 可擴展至強算力大升級,支持火山引擎實現降本增效目标

火山引擎的大規模雲原生基礎設施包含超過一百萬台服務器、上千萬容器實例,管理數十EB級别存儲資源,需要應對10 億+級QPS緩存峰值、10+TB/s的讀寫峰值帶寬,支持數億日活的應用訪問。

為了應對如此複雜的需求,火山引擎一直都選擇和信賴英特爾® 至強® 解決方案,并率先引入第五代至強® 可擴展處理器,助其第三代彈性計算實例加碼全新升級。

與基于第四代至強® 的彈性計算實例相比,第五代至強® 可擴展處理器助力火山引擎釋放了巨大算力和性能紅利,其彈性計算實例整機算力提升39%,内存帶寬提升17%,并在AI、視頻處理性能、Java應用性能等方面均有40%左右的性能提升。火山引擎計劃推出使用英特爾原生硬件加速技術的能力升級,以Nginx為例,使用英特爾® QAT進行數據壓縮和證書驗證操作的吞吐量可提升5倍;在RocksDB中,使用英特爾® IAA進行數據壓縮讀寫的吞吐量可提升1.9倍。提升如此巨大的算力進化幅度,使火山引擎能夠使用相同的實例數量應對更多業務需求。

如今,火山引擎正在構建百萬核心級别彈性資源池,為業務的流量增長、體驗創新與安全性增強提供海量算力保障。

第五代至強® 可擴展處理器提供澎湃的算力的同時,還與上一代處理器兼容,共享架構與平台,大大減少測試和驗證工作,其更高的性能、更好的安全性、更高的成本效益,已經在頭部雲服務提供商中得到全面驗證。

軟硬結合,打通AI創新底層瓶頸

除硬件方面的諸多創新,第五代至強® 可擴展處理器在軟件層面也搭建了良好的生态環境。例如,英特爾已經在Pytorch、Tensorflow和OpenVINO™ 工具套件等行業标準框架中提供了針對第五代至強® 可擴展處理器的優化,使得雲廠商和用戶能夠以較低的門檻,快速利用如英特爾® AMX等處理器功能,打通AI應用的算力瓶頸。英特爾® Trust Authority鑒證服務則能充分驗證TEE的有效性,發揮英特爾® SGX/TDX技術的優勢。

如果說數據中心是一台巨型計算機,那麼CPU就是它的超級大腦,第五代英特爾® 至強® 可擴展處理器将一如既往地扮演核心角色。它與網絡、GPU、軟件技術棧等其他英特爾創新技術一起共同構築了上層AI應用的根基。而這樣的根基雖然能力強大,但并不需要用戶為此投入大量精力學習或增加運維投入。由此,企業就能将主要精力投入在業務創新中,并在 AI 浪潮中緊緊把握住市場機遇,開啟新的增長路徑。