昇騰賦能 TransMLA：無需重訓突破架構壁壘，助力主流大模型高效适配 MLA

　　MLA(Multi-head Latent Attention多頭潛在注意力架構)憑借低秩壓縮KV緩存設計，實現長上下文推理的顯存與帶寬雙重優化，其有效性已在 DeepSeek-V2 等模型中得到了驗證。但主流預訓練模型如LLaMA、Qwen千問等多基于GQA構建，企業已投入大量工程優化，複用MLA需重訓，成本極高。為此，在北京大學 鲲鵬昇騰科教創新卓越中心的算力支持下，北京大學人工智能研究院助理教授張牧涵團隊提出TransMLA轉化框架，實現了無需重訓便可将主流模型向MLA遷移。

　　TransMLA針對GQA向MLA遷移的核心痛點，實現四大技術模塊的精準破局：一是GQA→MLA結構映射，破解分組KV頭與MLA單頭潛在表示不兼容問題，通過特定的線性變換，将GQA分組後的K、V向量投影/融合為單一的低秩潛在表示，并配備上投影矩陣保障KV信息精準恢複，築牢遷移基礎;二是提出RoRoPE技術方案，通過創新适配讓位置編碼順暢融入低秩壓縮流程，解決了直接對RoPE應用PCA等通用降維方法可能導緻的位置信息損失或模型性能下降問題;三是通過将RoPE中相鄰頻率的旋轉維度進行折疊(Folding)與融合，在降低參數量的同時，更高效地集中和保留關鍵的位置信息，從而維持模型在長序列下的語義理解能力;四是通過均衡Key和Value矩陣在壓縮前的範數分布，提升聯合壓縮(如PCA)的數值穩定性，減少信息損失。

　　在技術落地過程中，昇騰發揮了關鍵支撐作用。其高效并行計算架構滿足結構映射模塊的多任務協同處理需求，保障了架構遷移效率;其優化的存儲與緩存體系，為 FreqFold 的頻率信息處理、BKV-PCA 的範數均衡提供穩定硬件基礎，有效提升 KV 壓縮的穩定性與資源利用效率，助力 TransMLA 核心技術平穩落地。

　　經過實驗顯示TransMLA的轉換過程性能優勢明顯，裁剪LLaMA-2-7B模型68.75%的KV緩存後無需訓練，核心性能僅輕微損失，在32K序列長度、FP16精度下，基于昇騰平台的推理速度較之于業界主流GPU平台有顯著提升。依托開放的生态資源，昇騰已推動TransMLA穩定支持主流模型部署并将集成至vLLM/SGLang等高性能推理框架生态，便于用戶部署，大幅降低企業落地适配成本。

　　TransMLA與昇騰的協同創新，打通了主流模型與MLA架構鴻溝，充分發揮昇騰生态優勢。昇騰全鍊路支持實現TransMLA“零重訓、低損失”目标，保留模型參數優勢，降低企業基于昇騰的升級門檻。這一軟硬件協同典範，為長上下文推理提供昇騰生态解決方案，推動自主計算與前沿AI融合，彰顯昇騰核心引領作用，為大模型産業依托自主硬件降本增效提供可行路徑。