訓(xùn)完130億參數(shù)通用視覺語言大模型，只需3天！

北大和中山大學(xué)團隊又出招了——在最新研究中，研究團隊提出了一種構(gòu)建統(tǒng)一的圖片和視頻表征的框架。

利用這種框架，可以大大減少VLM（視覺語言大模型）在訓(xùn)練和推理過程中的開銷。

具體而言，團隊按照提出的新框架，訓(xùn)練了一個新的VLM：Chat-UniVi。

Chat-UniVi能在混合圖片和視頻數(shù)據(jù)的情況下進行訓(xùn)練，并同時處理圖片任務(wù)和視頻理解任務(wù)。

以此為基礎(chǔ)，Chat-UniVi在圖片及視頻上的17個基準上，都表現(xiàn)得還不錯。

現(xiàn)在，項目已經(jīng)在GitHub和抱抱臉上開源。

更多關(guān)于新方法和Chat-UniVi的詳細信息，我們一起進一步來看看～

Chat-UniVi是什么？

了解基礎(chǔ)信息后，我們詳細地聊聊Chat-UniVi究竟是什么——

簡單來說，Chat-UniVi是一個統(tǒng)一的多模態(tài)大型語言模型，可以同時理解圖像和視頻。

目前VLM運用的方法，偏圖片理解的，往往使用大量視覺tokens來獲得更精細的空間分辨率。

偏視頻理解的方法，則常常選擇犧牲每幀的空間分辨率，以輸入更多幀來構(gòu)建更精細的時間理解能力。

與它們不同，Chat-UniVi采用動態(tài)視覺token來統(tǒng)一表示圖像和視頻，動態(tài)token合并方法是無參數(shù)的，不需要額外訓(xùn)練。

而動態(tài)token的來源，是漸進地聚類視覺token。

為了獲取這些動態(tài)的視覺token，研究人員基于最近鄰的密度峰聚類算法，逐步對視覺token進行分組和合并。

其中，圖片可以通過不同大小的視覺token進行建模。

舉個??：

圖中的羊就需要相對更多的視覺token進行細粒度表示；但背景里的雪山，一個視覺token就可以充分搞定建模。

至于視頻，處理視頻時，同樣采用最近鄰的密度峰聚類算法，以獲取事件的幀集合。

Chat-UniVi會把它劃分為多個關(guān)鍵事件，然后在事件內(nèi)部拓展視覺token。

當(dāng)然了，如果使用這種方法，更長的視頻就會被分配到更多的視覺token，因此如果身處可變長度視頻的情境下，這種方式比現(xiàn)有方式更有優(yōu)勢。

總而言之，這種圖片和視頻的統(tǒng)一表示，一邊減少了視覺token的數(shù)量，一邊又保持了模型的表達能力。

同時又由于視覺token數(shù)量的減少，利用這種方式訓(xùn)練模型和進行推理的成本，會大幅度降低——練一個具有130億參數(shù)的VLM，只需要3天。

多提一嘴，為了進一步提升模型性能，團隊還為LLM提供了一個多尺度表征。

多尺度表征的上層特征表示高級語義概念，而下層特征則強調(diào)了視覺細節(jié)的表示。

說到這，我們可以總結(jié)出Chat-UniVi的2大特點：

第一，因為獨特的建模方法，Chat-UniVi的訓(xùn)練數(shù)據(jù)集可以是圖片與視頻的混合版，并且無需任何修改，就可以直接應(yīng)用在圖片和視頻任務(wù)上。

第二，多尺度表征能幫助Chat-UniVi對圖片和視頻進行更到位、更全面的理解。

這也導(dǎo)致了Chat-UniVi的任務(wù)適應(yīng)性更強，包括使用高層次特征進行語義理解，以及利用低層次特征生成詳細描述。

分兩階段訓(xùn)練

Chat-UniVi的訓(xùn)練分為兩個階段。

第一步是多模態(tài)預(yù)訓(xùn)練。

在這個階段，研究人員凍結(jié)了LLM和視覺編碼器，同時只對投影矩陣進行訓(xùn)練。

這種訓(xùn)練策略使得模型能夠有效地捕獲視覺信息，而不會對LLM的性能造成任何明顯的損害。

第二步是聯(lián)合指令微調(diào)。

在第二階段，團隊對整個模型進行了全參數(shù)微調(diào)，使用了一個包含圖片和視頻的混合數(shù)據(jù)集。

通過在混合數(shù)據(jù)集上進行聯(lián)合訓(xùn)練，Chat-UniVi實現(xiàn)了對大量指令的卓越理解，并生成了更自然、更可靠的輸出。

訓(xùn)練過程中，團隊進行了如下實驗：

圖片理解實驗

Chat-UniVi在使用更少的視覺標記的同時，性能表現(xiàn)也很不錯。

7B參數(shù)的Chat-UniVi模型能達到13B大小LLaVA模型的性能水平。這證明了該方法的有效性。

視頻理解實驗

作為一個統(tǒng)一的VLM，Chat-UniVi超越了專門針對視頻設(shè)計的方法，如VideoChat和Video-ChatGPT。

圖片問答實驗

Chat-UniVi在ScienceQA數(shù)據(jù)集上性能表現(xiàn)良好，其性能優(yōu)于專門針對科學(xué)問答進行優(yōu)化的LLaMA-SciTune模型。

視頻問答實驗

在所有數(shù)據(jù)集上，Chat-UniVi均表現(xiàn)優(yōu)于最先進的方法，如VideoChat和Video-ChatGPT等。

幻覺實驗

在幻覺評估方面，Chat-UniVi表現(xiàn)優(yōu)于最近提出的最先進方法。

值得注意的是，作為一個7B模型，Chat-UniVi在性能上超越了13B參數(shù)大小的MiniGPT-4。

研究人員將這一成功歸功于多尺度表征，這使得模型能夠同時感知高級語義概念和低級視覺外觀。

人工評測實驗

同時，研究人員還進行了人工評估實驗。

他們發(fā)現(xiàn)，基于Flamingo的方法在理解視頻的能力上存在局限性。這種限制歸因于它們使用Q-Former從不同長度的視頻中提取固定數(shù)量的視覺標記，這阻礙了它們在建模時間理解方面的有效性。

相比之下，作為一個統(tǒng)一的模型，Chat-UniVi不僅優(yōu)于基于Flamingo構(gòu)建的方法，而且超越了專門為圖片和視頻設(shè)計的模型。

可視化

Chat-UniVi所采用的動態(tài)視覺token巧妙地概括了對象和背景。

這使得Chat-UniVi能夠以有限數(shù)量的視覺token，同時建模圖片理解所需的細粒度空間分辨率和視頻理解所需的細粒度時間分辨率。

團隊介紹

論文一作是北大信息工程學(xué)院博三學(xué)生金鵬。

通訊作者袁粒，北大信息工程學(xué)院助理教授、博士生導(dǎo)師。

其研究方向為多模態(tài)深度學(xué)習(xí)和AI4S，其中AI4S方向主要研究深度學(xué)習(xí)解決化學(xué)生物中的重大問題。

此前網(wǎng)絡(luò)大火的ChatExcel、ChatLaw等垂直領(lǐng)域大模型項目都出自袁粒團隊。

arXiv：https://arxiv.org/pdf/2311.08046.pdf
Demo：https://huggingface.co/spaces/Chat-UniVi/Chat-UniVi
GitHub：https://github.com/PKU-YuanGroup/Chat-UniVi
抱抱臉：https://huggingface.co/Chat-UniVi