3月18日，昆侖萬維正式開源首款工業(yè)界多模態(tài)思維鏈推理模型Skywork R1V，即日起開源模型權(quán)重和技術(shù)報(bào)告。

開啟多模態(tài)思考新時代

繼OpenAI o1和DeepSeek-R1在全球掀起長思考模型熱潮后，大模型進(jìn)入新技術(shù)范式。昆侖萬維秉持實(shí)現(xiàn) AGI 的初心，積極貢獻(xiàn)開源社區(qū)，正式開源Skywork R1V多模態(tài)視覺推理模型，成為中國第一個開源「多模態(tài)推理模型」的企業(yè)。

什么是視覺推理模型？

視覺推理模型是一類能夠解決需要思維鏈（Chain-of-Thought）的視覺任務(wù)的模型，通過對視覺信息進(jìn)行多步邏輯推理與分析，逐步推導(dǎo)出最終結(jié)果。這種模型不僅關(guān)注圖像內(nèi)容的識別與理解，更強(qiáng)調(diào)通過層層遞進(jìn)的推理路徑，實(shí)現(xiàn)復(fù)雜視覺問題的精準(zhǔn)求解，例如視覺邏輯推理、視覺數(shù)學(xué)問題、圖像中的科學(xué)現(xiàn)象分析、醫(yī)學(xué)影像的診斷推理等，從而有效拓展了視覺大模型的應(yīng)用邊界。

無論是日常繁瑣的工作任務(wù)、復(fù)雜的數(shù)據(jù)分析、難以解答的學(xué)術(shù)問題，還是前所未見的陌生場景，都可以交給Skywork R1V進(jìn)行高效處理。

快速體驗(yàn)下來，R1V的視覺理解和推理能力雙雙在線。這樣的模型能力是如何煉成的呢？

強(qiáng)大推理能力，刷新跨模態(tài)任務(wù)新高度

在Reasoning推理能力方面，Skywork R1V實(shí)現(xiàn)了模型的頂尖邏輯推理與數(shù)學(xué)分析能力。在權(quán)威的MATH500和AIME基準(zhǔn)測試中，Skywork R1V分別取得了94.0和72.0的高分，明顯領(lǐng)先于行業(yè)內(nèi)眾多主流模型。Skywork R1V在純文本復(fù)雜推理任務(wù)中展現(xiàn)出卓越性能，使其在邏輯推理和數(shù)學(xué)問題求解領(lǐng)域展現(xiàn)出人類專家級別的水準(zhǔn)。

在Vision視覺理解能力方面，Skywork R1V成功地將其強(qiáng)大的文本推理與思維鏈推導(dǎo)能力高效遷移到視覺任務(wù)中。憑借創(chuàng)新的跨模態(tài)遷移技術(shù)與推理優(yōu)化框架，Skywork R1V能夠高效解決需要多步視覺推理的問題，在MMMU與MathVista等視覺推理基準(zhǔn)中分別取得了69和67.5的優(yōu)異成績。這些結(jié)果不僅明顯超越了多個近似大小的開源競爭模型，更達(dá)到與規(guī)模更大的閉源模型媲美的水準(zhǔn)，充分證實(shí)了Skywork R1V在需要視覺思維鏈推理的跨模態(tài)任務(wù)中的領(lǐng)先優(yōu)勢。

Skywork R1V通過視覺與文本能力的深度融合和視覺思維鏈推理能力的突破，推動了多模態(tài)推理模型的進(jìn)一步發(fā)展，標(biāo)志著人工智能領(lǐng)域的又一重大進(jìn)步。

目前，Skywork R1V已全面開源，期望助力全球范圍內(nèi)更多視覺推理任務(wù)的學(xué)術(shù)研究與產(chǎn)業(yè)應(yīng)用探索。

和開源同規(guī)模或更大規(guī)模模型的對比，Skywork R1V 38B體現(xiàn)出行業(yè)顯著優(yōu)異的推理能力，以及領(lǐng)先的多模態(tài)視覺理解能力。如下圖，與開源同規(guī)模或更大規(guī)模模型的對比：

與閉源頭部模型性能對比，R1V 38B模型性能媲美甚至超越更大開源模型以及主流閉源模型。如下圖，與開源大尺寸模型與閉源專有模型的對比：

三大核心技術(shù)創(chuàng)新，引領(lǐng)視覺推理新突破

Skywork R1V能夠達(dá)到當(dāng)前的性能高度，依賴于以下三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新：

1、文本推理能力的多模態(tài)高效遷移

昆侖萬維團(tuán)隊(duì)首次提出利用Skywork-VL的視覺投影器，無需重新訓(xùn)練語言模型和視覺編碼器，即可實(shí)現(xiàn)文本推理能力的高效遷移到視覺任務(wù)，同時保留了優(yōu)秀的原本推理文本能力（AIME 72.0，MATH500 94.0）。

2、多模態(tài)混合式訓(xùn)練（IterativeSFT+GRPO）

通過結(jié)合迭代監(jiān)督微調(diào)（Iterative SFT）和GRPO強(qiáng)化學(xué)習(xí)，分階段對齊視覺-文本表征，實(shí)現(xiàn)跨模態(tài)任務(wù)的高效融合，極大提升跨模態(tài)任務(wù)的表現(xiàn)。推動模型在MMMU基準(zhǔn)達(dá)到69分的能力，同時在MathVista達(dá)到67.5分，與更大規(guī)模的閉源模型基本持平。通過反復(fù)迭代地利用高質(zhì)量數(shù)據(jù)與高難度數(shù)據(jù)的組合，實(shí)現(xiàn)模型持續(xù)的知識鞏固與錯誤糾正，顯著提升了多模態(tài)推理的精度與泛化性能。

圖丨多模態(tài)混合式訓(xùn)練（來源：Skywork R1V技術(shù)報(bào)告）

3、自適應(yīng)長度思維鏈蒸餾

團(tuán)隊(duì)提出了一種基于視覺-文本復(fù)雜度的自適應(yīng)推理鏈長度控制機(jī)制，動態(tài)優(yōu)化模型推理過程，避免模型“過度思考”，提升推理效率。結(jié)合多階段自蒸餾策略，進(jìn)一步提升了數(shù)據(jù)生成與推理過程的質(zhì)量，促進(jìn)了模型在復(fù)雜多模態(tài)任務(wù)中的表現(xiàn)。

圖丨自適應(yīng)長度思維鏈蒸餾（來源：Skywork R1V技術(shù)報(bào)告）

Skywork R1V在訓(xùn)練過程中創(chuàng)新性地采用了三階段方法，使得文本端強(qiáng)大的推理能力得以高效遷移至視覺任務(wù)上，具體訓(xùn)練流程如下：

1、STEP1 視覺語言表征的初始對齊

訓(xùn)練時首先使用輕量級的視覺適配器（MLP）連接視覺編碼器（ViT）與語言模型，在已有的200萬條常規(guī)多模態(tài)數(shù)據(jù)上進(jìn)行訓(xùn)練，使得MLP初步學(xué)習(xí)如何將圖像特征映射至語言空間。這一階段僅訓(xùn)練MLP適配器，視覺編碼器和語言模型參數(shù)保持凍結(jié)不變，快速、高效地實(shí)現(xiàn)視覺與語言表征的初步對齊。

2、STEP2 推理能力遷移

利用第一階段訓(xùn)練好的MLP適配器，直接將視覺編碼器與原始的強(qiáng)推理語言模型（R1-distilled-Qwen-32B）連接，形成Skywork-R1V視覺推理模型。雖然此時語言模型的參數(shù)發(fā)生了改變，但得益于語言模型架構(gòu)的高度相似性和MLP的泛化能力，重新組裝后的模型已能表現(xiàn)出一定的視覺推理能力，初始性能即達(dá)到業(yè)內(nèi)同等規(guī)模的先進(jìn)水平。

3、STEP3 視覺與文本模態(tài)精準(zhǔn)對齊

最后，采用創(chuàng)新的“混合優(yōu)化框架”，進(jìn)一步精準(zhǔn)對齊視覺和語言模態(tài)的表征。這一階段分為兩大步驟：迭代監(jiān)督微調(diào)（Iterative SFT）和群組相對策略優(yōu)化（GRPO）強(qiáng)化學(xué)習(xí)。在整個訓(xùn)練過程中，Skywork-R1V還創(chuàng)新性地引入了“自適應(yīng)長度思維鏈蒸餾技術(shù)”，動態(tài)優(yōu)化推理鏈長度，防止模型過度思考，從而提升了推理效率和質(zhì)量。

通過以上的訓(xùn)練策略，Skywork R1V在視覺推理任務(wù)上取得突破性進(jìn)展，并在多個公開評測基準(zhǔn)中達(dá)到或超過了現(xiàn)有領(lǐng)先模型的性能。

此外，Skywork團(tuán)隊(duì)多模態(tài)理解模型也在進(jìn)行"全面貫通"的進(jìn)化，將視覺多模態(tài)擴(kuò)展為全模態(tài)模型，引入語音理解能力。當(dāng)前，全模態(tài)模型往往受限于特定領(lǐng)域不僅需要獨(dú)立訓(xùn)練多個專業(yè)模型，更面臨跨模態(tài)協(xié)同的算力挑戰(zhàn)。

基于R1V模型，Skywork團(tuán)隊(duì)設(shè)計(jì)了一種靈活在R1V中擴(kuò)展語音理解模態(tài)的方式，從而實(shí)現(xiàn)一個全模態(tài)思考大模型，該在單個模型中同時實(shí)現(xiàn)圖像、視頻、語音的全模態(tài)理解能力，并在語音和視覺理解評測中斬獲多項(xiàng)SOTA成績。我們將陸續(xù)公布測評成績、開源全模態(tài)思考大模型。

持續(xù)開源回饋社區(qū)，堅(jiān)定邁向AGI

2023年10月以來，昆侖萬維陸續(xù)開源了百億級大語言模型「天工」Skywork-13B系列、數(shù)字智能體全流程研發(fā)工具包AgentStudio、4000億參數(shù)MoE超級模型、2千億稀疏大模型Skywork-MoE、推理模型Skywork-o1-Open等。2025年2月18日，昆侖萬維同時將SOTA級別的SkyReels-V1和SkyReels-A1進(jìn)行開源。

在語言生成模型、AI Agent、推理模型、視頻生成模型等相繼開源、多點(diǎn)開花之后，我們正式開源Skywork R1V多模態(tài)推理模型，在文本-視覺多模態(tài)推理方向再下一城，成為中國第一家開源多模態(tài)思考模型的企業(yè)。

中國企業(yè)過去一年在AI領(lǐng)域的開源貢獻(xiàn)，讓全世界AI從業(yè)者和開發(fā)者享受到了技術(shù)共享帶來的普惠發(fā)展。DeepSeek的開源為AI行業(yè)提供了新的發(fā)展范本，多項(xiàng)開源成果顯著降低了AI技術(shù)的應(yīng)用門檻、促進(jìn)全球AI技術(shù)的民主化。昆侖萬維作為中國AI領(lǐng)軍企業(yè)，我們將持續(xù)開源優(yōu)秀的模型、數(shù)據(jù)集等，共建開發(fā)者生態(tài)、加速技術(shù)創(chuàng)新、降低應(yīng)用門檻、推動技術(shù)平權(quán)和AI行業(yè)發(fā)展。

此文內(nèi)容為企業(yè)供稿，僅供參考。