近日，SuperCLUE-Fin（SC-Fin）中文原生金融大模型測評基準(zhǔn)正式發(fā)布，對國內(nèi)外金融大模型的發(fā)展水平進(jìn)行了全方位、多角度評估。智譜AI自主研發(fā)的新一代基座大模型GLM-4脫穎而出，躋身國內(nèi)首批獲得A級評價(jià)的模型之列，依據(jù)模型表現(xiàn)，GLM-4位列第一梯隊(duì)，在國內(nèi)大模型中排名第一。

本次測評涵蓋金融知識百科、金融理解認(rèn)知、金融數(shù)理計(jì)算、合規(guī)與風(fēng)險(xiǎn)管理、投研應(yīng)用以及投顧應(yīng)用六大領(lǐng)域共計(jì)二十五項(xiàng)細(xì)分任務(wù)。測評人員通過模擬真實(shí)用戶與模型互動，采用單輪問答、多輪交互等多種形式，對模型的專業(yè)知識掌握、邏輯分析能力、語言表達(dá)清晰度、計(jì)算效率以及企業(yè)綜合業(yè)務(wù)分析、風(fēng)險(xiǎn)預(yù)測與管控等能力進(jìn)行了詳盡檢驗(yàn)。

測評結(jié)果顯示，在六類應(yīng)用場景的二十五項(xiàng)細(xì)分任務(wù)中，GLM-4斬獲了一項(xiàng)A+及多項(xiàng)A級評價(jià)，彰顯出其在國內(nèi)金融智能解決方案領(lǐng)域的領(lǐng)先技術(shù)水平與廣泛應(yīng)用潛能。

總等級榜單

任務(wù)大類等級榜單

各任務(wù)等級榜單

金融知識百科榜單

金融數(shù)理計(jì)算榜單

合規(guī)與風(fēng)險(xiǎn)管理榜單

投顧應(yīng)用榜單

根據(jù)測評榜單，從模型等級角度看，目前僅有GPT-4 Turbo在總成績中達(dá)到了A+的級別，國內(nèi)的GLM-4與MoonShot-v1-128k等級達(dá)到A。從六類具體任務(wù)得分角度來看，各模型各類任務(wù)得分較為均衡，其中GLM-4表現(xiàn)較為優(yōu)異，獲得了一項(xiàng)A+、三項(xiàng)A與兩項(xiàng)B，且與GPT-4 Turbo各任務(wù)等級相差較小。

測評結(jié)論指出，從金融大模型綜合能力上看，國內(nèi)外頭部模型差距較小，體現(xiàn)了國內(nèi)大模型在金融領(lǐng)域綜合能力上有一定的競爭力。在本次金融測評中，依據(jù)模型表現(xiàn)，GLM-4位列第一梯隊(duì)，其等級為A，僅低于GPT-4 Turbo，國內(nèi)排名第一。從金融大模型專項(xiàng)能力上來看，真正實(shí)現(xiàn)大語言模型在金融領(lǐng)域的高度專業(yè)化水準(zhǔn)仍然有一定的距離，提高金融大模型數(shù)據(jù)庫質(zhì)量、完善模型對于金融學(xué)問題的解釋標(biāo)準(zhǔn)（尤其是依據(jù)國內(nèi)標(biāo)準(zhǔn)），亦或?yàn)樘嵘鹑诖竽Ｐ托阅艿年P(guān)鍵路徑。

關(guān)于智譜AI

智譜AI致力于打造新一代認(rèn)知智能大模型，專注于做大模型的中國創(chuàng)新。公司于2020年底研發(fā)GLM預(yù)訓(xùn)練架構(gòu)，2021年訓(xùn)練完成百億參數(shù)模型GLM-10B，同年利用MoE架構(gòu)成功訓(xùn)練出收斂的萬億稀疏模型，2022年合作研發(fā)了中英雙語千億級超大規(guī)模預(yù)訓(xùn)練模型GLM-130B并開源。2023年，智譜 AI 推出千億基座對話模型ChatGLM并兩次升級，開源版本的 ChatGLM-6B 讓大模型開發(fā)者的本地微調(diào)和部署成為可能，在開源社區(qū)受到廣泛歡迎。

2024年1月，智譜AI推出新一代基座大模型GLM-4，整體性能相比上一代大幅提升，比肩世界先進(jìn)水平。它支持更長上下文，具備更強(qiáng)多模態(tài)能力，推理速度更快，支持更高并發(fā)，大大降低推理成本。同時(shí)，GLM-4的智能體能力得到大幅提升，可根據(jù)用戶意圖，自動理解、規(guī)劃指令以完成復(fù)雜任務(wù)。GLMs 個(gè)性化智能體定制功能亦同時(shí)上線，用戶用簡單提示詞指令即能創(chuàng)建屬于自己的 GLM 智能體，由此任何人都能實(shí)現(xiàn)大模型的便捷開發(fā)。

基于全自研基座大模型的強(qiáng)大能力，智譜 AI 構(gòu)建了極具競爭力的AIGC模型產(chǎn)品矩陣，包括AI提效助手智譜清言、高效率代碼模型CodeGeeX、多模態(tài)理解模型CogVLM和文生圖模型CogView等。

踐行Model as a Service市場理念，智譜AI致力于打造高效率、通用化的“模型即服務(wù)”開發(fā)新范式，通過大模型鏈接物理世界的億級用戶，為千行百業(yè)帶來持續(xù)創(chuàng)新與變革，加速邁向通用人工智能的時(shí)代。