星光麒麟端側AI大模型應用“星語對話”首次亮相

　　近日，第八屆瑞芯微開發者大會(RKDC2024)期間，基于大模型的星光麒麟端側AI應用“星語對話”亮相。“星語對話”目前已完成技術路線驗證并在RK3588上成功部署，可向端側用戶提供本地化生成式人工智能(AIGC)能力。

　　在軟件技術分論壇上，麒麟軟件專題分享了星光麒麟雲邊端的AI框架。目前，除了布局端側AI大模型，星光麒麟AI框架還在不斷提升雲邊端靈活協同的能力，提出了面向萬物智聯操作系統的雲邊端AI架構。

　　在端側，“星語對話”已具備智能問答、邏輯生成和多語言等能力。在智能問答方面，能夠模拟人與人之間的對話過程。當用戶提出問題時，系統通過自然語言處理(NLP)理解問題，然後檢索或推理相關信息，并将答案轉化為自然語言回複用戶。

　　在邏輯生成方面，通過數據清洗和數據預處理，基于模型訓練自動調整權重和參數，程度地減少生成結果與真實文本之間的損失。在生成文本時，根據輸入信息和已學習到的語言規律進行邏輯推理，識别和應用适當的邏輯規則，以更準确、合理且連貫地生成文本。

　　“星語對話”的多語言特性能夠理解和處理多種語言，為用戶提供跨語言的智能對話體驗。通過訓練不同語言的數據，在模型中實現語言間的知識傳遞，使得用戶無論使用哪種語言都能得到高質量、智能化的回複。

　　除端側AI大模型的布局外，星光麒麟AI框架還在不斷提升雲邊端靈活協同的能力，提出了面向萬物智聯操作系統的雲邊端AI架構。

　　例如通過RAG技術結合行業知識庫，提高計算結果準确度;在應用場景切換時，将對應的Agent能力進行切換，包括模型切換，應用上下文切換，會話挂起等操作;模型編排框架模塊負責組織、調度和管理多個機器學習模型，解決複雜場景下多模型的切換及調度;提供雲端AI能力下發，端側便捷部署，雲端Al編排，邊側自組網的協同計算等能力;提供高效存儲和檢索大規模向量數據的系統，具有高效的相似性搜索功能、多樣化的查詢支持、在線更新和擴展能力等特點，為各種應用場景下的向量數據需求提供了強大的支持;負責雲側、端側模型管理。端側數據上報，雲側模型自學習後，新模型下發。端側模型更新，升級。

　　不同場景的複雜度不同，對底層大模型的輸出精準性要求有所側重，雲邊端計算框架根據場景選擇模型和算力來源，可靈活地在雲端、邊緣端或終端設備上執行特定的操作或計算任務。

　　在雲端部署方面，使用Paddle開源平台、訊飛語音SDK、星火大模型SDK等，實現語音識别、語音播報、語音翻譯、問題回答、文章生成、語言翻譯、代碼生成、創造性寫作等多種功能。

　　在邊緣側部署方面，利用軟總線組網後進行數據傳輸，在邊側設備完成模型推理并獲取結果，合理分配任務和算力。

　　在端側部署方面，使用Whisper語音模型、高性能通用部署解決方案MLC，部署在移動設備上，實現離線的語音識别、問題問答、語言翻譯等功能。

　　随着人工智能(AI)技術的不斷發展，操作系統融入AI技術已成為一條必由之路。星光麒麟将利用AI技術不斷提高操作系統的資源管理和調度能力，提升系統穩定性，為用戶提供更加智能、高效和安全的服務體驗，為人機物融合泛在計算提供支撐。