4月9日，aiXcoder推出全新自研7B代碼大模型。該模型在多個主流評估标準評測集中，與所有同量級開源模型對比效果最 佳，彰顯出其作為百億參數天 花闆級代碼大模型的非凡實力。
從評測集綜合結果來看，aiXcoder-7B相較于傳統的刷題式代碼生成，它專門針對企業級軟件項目，在真實開發場景下效果出衆，這意味着aiXcoder-7B非常适合企業私有化部署。其中，aiXcoder-7B Base版開源共享給開發者，并陸續在 Github、Gitee、Gitlink 等平台上線。
aiXcoder團隊孵化自北京大學軟件工程研究所，在AI與軟件開發交叉領域探索已曆十年，是智能化軟件開發領域的開拓者，專注于企業開發場景的服務。
代碼生成與補全 效果達SOTA
真實場景中的編程總需要面對層出不窮的情況，而人工構造的測試集能力有限，可能會遇到規模和多樣性有限、難以評估上下文理解能力、難以衡量泛化能力等問題。因此aiXcoder-7B模型選擇了不同維度的測評集，全面驗證模型實際能力，并指導模型疊代和應用部署。
在多個主流評估标準評測集中，無論是代碼生成、代碼補全還是跨文件上下文代碼生成效果，aiXcoder-7B模型均有極 佳表現，甚至超越參數量大5倍的34B代碼大模型，已達到當前SOTA水準，堪稱最适于實際編程場景的基礎模型。
測評效果1:在 HumanEval(由164道Python編程問題組成)、MBPP(由974個 Python編程問題組成)和MultiPL-E(包含了18種編程語言)等主流代碼生成效果評估測試集上，aiXcoder7B 準确率顯著超越當前同級别代碼大模型。
測評效果2:相對于HumanEval等測評集中的任務，真實開發場景的代碼生成需要考慮當前編寫代碼的上下文信息。在Santacoder(Ben Allal et al.，2023) 提出的考慮上下文補全評測集上，aiXcoder-7B Base版在與 StarCoder2、CodeLlama7B/13B、DeepSeekCoder7B 等主流同量級開源模型的較量中取得了綜合最 佳效果。
為了進一步精細地評測代碼大模型在代碼補全上的能力，aiXcoder 構建了一個比SantaCoder數據量更大，被測代碼多樣性更高、被測代碼上下文長度更長、更接近實際開發項目的評測集 (16000多條來自真實開發場景的數據)，在此測評集上aiXcoder-7B 同樣效果最 好。
同時aiXcoder-7B 表現出了相較于其他代碼大模型的又一大亮點，即傾向于使用較短代碼來完成用戶指定的任務。在針對Java、C++、JavaScript和Python編程語言的代碼補全測評時，aiXcoder7B Base不僅效果最 好，四處紅框圈出的生成答案長度明顯短于其他模型，并且非常接近于标準答案長度(Ref)。
測評效果3:aiXcoder-7B 在更貼近真實開發場景的跨多文件代碼補全任務上同樣表現極 佳，在評估代碼大模型提取跨文件上下文信息能力的CrossCodeEval測評集上，aiXcoder-7B 一舉拿下了同級别模型的最 好效果。從測評結果中看出，aiXcoder-7B在隻通過光标上文搜索到的結果作為 prompt，同時其他模型拿 GroundTruth搜索到的結果作為prompt，前者的效果依然要強于後者。
在真實開發場景中，aiXcoder-7B模型具有更多優勢，展現出獨特的科技智能與美學。比如預訓練采用32K token的上下文長度，并且推理時可擴展至256K，能覆蓋整個開發項目中的絕大部分代碼;可準确判斷何時需要生成新代碼、何時代碼邏輯已完整無需補全，直接生成完整的代碼塊、方法體、控制流程;可以準确地抽取項目級的上下文信息，大大降低大語言模型在預測API時産生的幻覺。
高質量訓練數據和針對性訓練方法養成記
大模型領域流行一句話:“Garbage in，Garbage out”，即輸入垃圾數據會導緻輸出垃圾結果，可見對大模型進行預訓練，數據是重中之重。aiXcoder-7B模型的超強表現，首先得益于高質量訓練數據和針對性訓練方法。
aiXcoder-7B模型訓練集涵蓋1.2T Unique token數據，覆蓋數十種主流編程語言。aiXcoder團隊在構建訓練數據時，針對數十種主流編程語言進行了語法分析，過濾掉錯誤的代碼片段，還對十多種主流語言的代碼進行了靜态分析，總共剔除了163種bug和197種常見代碼缺陷，确保了訓練數據的高質量。
為了增強模型對代碼語義和結構的建模能力，aiXcoder團隊采取了多種創新策略。一方面利用代碼聚類和函數調用關系圖的方式，捕捉多個文件之間的相互注意力關系;另一方面，将抽象語法樹的結構信息融入了預訓練任務中，幫助模型學習代碼的語法和模式特征。
總體而言，通過處理更高質量的數據，以及構造更貼近開發行為的代碼大模型預訓練任務，我們發現aiXcoder-7B 在考慮代碼項目上下文這種更真實開發場景下，具有當前代碼大模型中最 佳的效果。
“開箱即适配”的企業級代碼大模型
第 一，易部署。在企業實際環境中部署時，通常企業的部署資源是受限的。aiXcoder-7B 隻有7B參數規模，易于部署，還有成本低、性能好的優點。
第二，易定制。大多企業都有自己的軟件開發框架和API的庫，與其關聯的業務邏輯、代碼架構規範都因地制宜，十分個性化，同時這些内容又都有私密性。必須得讓大模型學會這些企業代碼資産，通過進行有效個性化訓練，才能真正為企業所用。
第三，易組合。未來提供企業服務時，會讓多個7B模型形成MoE架構，組合成為一套解決方案來完成企業定制化服務。不同的企業，都可以得到符合自身個性化需求的MoE版代碼大模型解決方案，既能使用産品，又可享受服務。
個性化是企業級代碼大模型在傳統行業落地最 大的鴻溝，aiXcoder“開箱即适配”的一站式智能解決方案，能夠為企業級用戶提供精準、高效、安全、連續的軟件開發服務，提高項目的開發效率和代碼質量。
aiXcoder代碼大模型落地可靠性“闖關”成功
aiXcoder7B通過“開源+閉源”雙循環式的生态布局戰略，産業反哺技術，擴大行業領跑優勢。企業級專屬版本針對企業級客戶，通過大量的C端用戶、B端開發者，會收集到更多關于通用模型的真實反饋，了解實戰效果和存在的痛點，并将這些轉化為模型和産品層面的優化點，快速應用到企業客戶，持續深化B端産品能力和服務質量，擴大在企業級市場的滲透率。aiXcoder-7B模型具有更快、更準的優勢，是其他模型效率的至少2倍，這極大降低了企業的開發成本。
十餘年來，aiXcoder緻力于做中國代碼大模型商業化探索的先行者，引領代碼企業級私有化、管理智能化。目前主營業務聚焦于代碼大模型的私有化部署、個性化訓練和定制化開發三大核心領域，一站式為企業客戶提供定制化解決方案，專屬高效服務确保應用可落地。
許多企業級客戶群特别重視數據安全和隐私，代碼等資産不能上傳雲端。如何利用有限的GPU資源達成最 佳效果，成為企業私有化部署的最 大痛點。aiXcoder專攻對國産AI芯片和英偉達低端顯卡的模型适配，布局最早并且效果最 好，無論國産硬件還是進口硬件，都能得到最 佳支持和性能保障。此外，在模型訓練和推理優化等方面，也為客戶提供了高效、穩定的服務保障。
根據客戶的業務需求，aiXcoder提供個性化的訓練方式，結合企業領域知識進行個性化訓練。個性化訓練方案能夠有效提高模型的準确率，滿足客戶在不同行業、不同場景下的特定需求。相較于行業其他廠商的同質化訓練方案，aiXcoder基于原生大模型技術的個性化訓練方案，具有更高的靈活性和針對性。
aiXcoder注重将長期服務企業所累積的行業經驗和專業領域知識，融入産業實踐，促成商業落地。團隊多年深耕傳統重點行業，對這些領域有着獨到的理解，将這些專業知識與定制化開發相結合，必将讓aiXcoder賦能企業代碼大模型的效果事半功倍。
目前，aiXcoder已服務大量銀行、證券、保險、軍工、高科技、運營商、能源、交通等行業頭部客戶，深耕服務金融行業，其中與某頭部知名證券企業的“代碼大模型在證券行業的應用實踐”項目榮獲2023AIIA人工智能十大潛力應用案例、中國信通院AI4SE銀彈案例等殊榮。
探索軟件自動化的征程正邁向一個前所未有的智能化時代，aiXcoder團隊的每一次重大突破，都緻力于打造更加智能、高效、安全、可靠的軟件系統，努力成為大模型與傳統軟件可靠融合的重要推手。未來，我們将繼續砥砺前行，持續為開發者提供更卓越的模型和服務!
免責聲明：本文僅代表作者個人觀點，與每日科技網無關。其原創性以及文中陳述文字和内容未經本站證實，對本文以及其中全部或者部分内容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。
本網站有部分内容均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，若因作品内容、知識産權、版權和其他問題，請及時提供相關證明等材料并與我們聯系，本網站将在規定時間内給予删除等相關處理.
