剛剛，Kimi團(tuán)隊(duì)上新了！

開源輕量級(jí)視覺語言模型Kimi-VL及其推理版Kimi-VL-Thinking，多模態(tài)和推理雙雙拿捏。

按照Kimi官方的說法，其關(guān)鍵亮點(diǎn)如下：

• 都是基于MoE架構(gòu)，總參數(shù)為16B，但推理時(shí)僅激活2.8B；
• 具備強(qiáng)大的多模態(tài)推理能力（媲美參數(shù)大10倍的模型）和Agent能力；
• 支持128K上下文窗口；
• 采用相對(duì)較為寬松的MIT許可證。

如圖所示，和Qwen2.5-VL、Gemma-3等前沿開源VLM相比，Kimi-VL-Thinking僅使用2.8B激活參數(shù)即可實(shí)現(xiàn)強(qiáng)大的多模態(tài)推理。

同時(shí)在一些重要基準(zhǔn)測(cè)試中，Kimi新模型“以小博大”，超越了GPT-4o等規(guī)模更大的模型。

目前兩款模型均已上架Hugging Face，分為Instruct基礎(chǔ)版和Thinking推理版。

網(wǎng)友們紛紛表示，新的標(biāo)桿再次誕生！

多模態(tài)和推理雙雙拿捏

話不多說，我們直接看Kimi新模型的具體玩法和效果。

視覺理解與推理

首先，作為一款通用的VLM模型，Kimi-VL具備強(qiáng)大的視覺理解和推理能力。

給它一份手稿，要求它通過逐步推理來確認(rèn)手稿屬于誰，以及所記錄的內(nèi)容。

可以看到，Kimi-VL通過分析手稿的筆跡、內(nèi)容、語言等特征，推斷出手稿可能屬于愛因斯坦，理由是這些內(nèi)容與引力場(chǎng)方程有關(guān)，這與愛因斯坦對(duì)廣義相對(duì)論的貢獻(xiàn)有關(guān)。

又或者只提供一張圖片，讓Kimi-VL來判斷城市地標(biāo)建筑、識(shí)別游戲場(chǎng)景等。

比如第2個(gè)例子中，它成功識(shí)別出圖片中的穹頂建筑為多倫多的羅杰斯中心（Rogers Centre），同時(shí)描述了其特征和用途。

除此之外，Kimi-VL也能被用來解答高難度幾何數(shù)學(xué)題。

還是僅需一個(gè)上傳圖片的動(dòng)作，它就能將復(fù)雜數(shù)學(xué)公式轉(zhuǎn)換為L(zhǎng)aTeX代碼，并以正確格式輸出。

OCR與文本處理

當(dāng)然，Kimi-VL對(duì)多模態(tài)數(shù)據(jù)的正確理解還離不開一項(xiàng)關(guān)鍵能力——OCR字符識(shí)別。

在OCRBench基準(zhǔn)測(cè)試中，其得分為867，屬于SOTA水平。

除了識(shí)別數(shù)學(xué)公式，它還能識(shí)別金融表格（以Markdown表格格式輸出）和手寫作文。

甚至還能從長(zhǎng)達(dá)一小時(shí)的視頻課程中捕捉和理解關(guān)鍵細(xì)節(jié)。

比如提供視頻中的某句話“授人以魚不如授人以漁”，要求它找到出處并進(jìn)一步解讀。

智能體任務(wù)與交互

值得關(guān)注的是，Kimi-VL還在多輪Agent交互任務(wù)（例如OSWorld）中表現(xiàn)出色，取得了媲美旗艦?zāi)Ｐ偷腟OTA結(jié)果。

比如在Chrome瀏覽器中，要求它自動(dòng)啟用“Do Not Track”功能來保護(hù)用戶隱私。

可以看到，通過一步步思考，Kimi-VL對(duì)每個(gè)屏幕進(jìn)行解讀，識(shí)別相關(guān)的用戶界面元素，并通過清晰的思路、操作和API調(diào)用按順序執(zhí)行相應(yīng)的操作。

背后技術(shù)原理

那么接下來的問題是，怎么做到的？

來看Kimi此次公開的技術(shù)報(bào)告。

首先，在模型架構(gòu)上，Kimi-VL和Kimi-VL-Thinking主要由三大部分構(gòu)成：

• MoE專家混合語言模型（之前發(fā)布的Moonlight-16B-A3B）；
• 原生分辨率視覺編碼器（MoonViT，基于SigLIP-SO-400M微調(diào)）；
• 一個(gè)多層感知機(jī)（MLP）投影器。

模型具體訓(xùn)練過程如下：

數(shù)據(jù)準(zhǔn)備

這第一步，團(tuán)隊(duì)構(gòu)建了三大類別數(shù)據(jù)集：

1、預(yù)訓(xùn)練數(shù)據(jù)。精選來自六個(gè)類別的高質(zhì)量數(shù)據(jù)，包括字幕數(shù)據(jù)、圖像文本交織數(shù)據(jù)、OCR數(shù)據(jù)、知識(shí)數(shù)據(jù)、視頻數(shù)據(jù)和智能體數(shù)據(jù)。通過過濾、合成和去重等操作，控制數(shù)據(jù)質(zhì)量。

2、指令數(shù)據(jù)。用于增強(qiáng)模型的對(duì)話和指令遵循能力。對(duì)于非推理任務(wù)，通過人工標(biāo)注構(gòu)建種子數(shù)據(jù)集，訓(xùn)練種子模型后生成并篩選多輪響應(yīng)；對(duì)于推理任務(wù)，利用拒絕采樣的方式擴(kuò)展數(shù)據(jù)集，確保數(shù)據(jù)多樣性和準(zhǔn)確性。

3、推理數(shù)據(jù)。通過類似拒絕采樣和提示工程的方法，收集和合成高質(zhì)量的長(zhǎng)思維鏈數(shù)據(jù)。

預(yù)訓(xùn)練：主要提升多模態(tài)能力

然后開始預(yù)訓(xùn)練，這一階段共消耗4.4T tokens，主要目標(biāo)是提高模型的多模態(tài)理解能力。

概括而言，這一過程包含4個(gè)步驟：先獨(dú)立進(jìn)行ViT訓(xùn)練，以建立原生分辨率視覺編碼器；隨后進(jìn)行三個(gè)聯(lián)合訓(xùn)練階段（預(yù)訓(xùn)練、冷卻、長(zhǎng)上下文激活）。

后訓(xùn)練：主要提升長(zhǎng)思維鏈推理能力

接著進(jìn)行后訓(xùn)練，通過在32K和128K上下文中進(jìn)行的兩個(gè)階段的聯(lián)合監(jiān)督微調(diào)、長(zhǎng)思維鏈監(jiān)督微調(diào)及強(qiáng)化學(xué)習(xí)，團(tuán)隊(duì)進(jìn)一步提升了模型的長(zhǎng)期思考能力。

更多細(xì)節(jié)感興趣可以查閱原論文。

One More Thing

有一說一，相比于DeepSeek、Qwen等國內(nèi)競(jìng)爭(zhēng)對(duì)手，Kimi最近一個(gè)月實(shí)在有點(diǎn)過于安靜了。

從官方公眾號(hào)來看，最新一條發(fā)布還是在2月份。

在這股平靜之下，網(wǎng)友們開始猜測(cè)：

Kimi即將有大動(dòng)作了？

結(jié)合更多消息，目前大家比較認(rèn)可的推測(cè)是K1.6模型即將到來。

就在3月，基于Kimi-K1.6的數(shù)學(xué)模型突然曝光，在編程基準(zhǔn)測(cè)試LiveCodeBench中拿下第一，超越o3、DeepSeek-R1等模型。

當(dāng)然，也歡迎更多知情者在評(píng)論區(qū)爆料(doge)。

論文：
https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf
模型開源地址：
https://huggingface.co/collections/moonshotai/kimi-vl-a3b-67f67b6ac91d3b03d382dd85