最近在大型視覺(jué)-語(yǔ)言模型（LVLMs）上的進(jìn)展使得語(yǔ)言模型能夠處理多模態(tài)輸入，但這需要顯著的計(jì)算資源，特別是在端側(cè)設(shè)備上進(jìn)行部署。本研究旨在通過(guò)采用高質(zhì)量訓(xùn)練數(shù)據(jù)，彌合傳統(tǒng)規(guī)模 LVLMs 與輕量版本之間的性能差距。

為此，我們利用 GPT-4V 構(gòu)建了一個(gè)高質(zhì)量的合成數(shù)據(jù)集，包含（1）具有詳細(xì)文本描述的圖文對(duì)；和（2）復(fù)雜的推理指令和詳細(xì)的答案。利用該訓(xùn)練數(shù)據(jù)，我們訓(xùn)練了一個(gè)輕量級(jí)的多模態(tài)模型 ALLaVA-3B，在同量級(jí)的 LVLMs 的 12 個(gè) benchmark 中取得了有競(jìng)爭(zhēng)力的性能。這項(xiàng)工作突出了采用高質(zhì)量數(shù)據(jù)訓(xùn)練性能優(yōu)異的輕量級(jí) LVLMs 中的可行性。

論文題目：ALLaVA: Harnessing GPT4V-synthesized Data for A Lite Vision-Language Model

論文鏈接：https://arxiv.org/abs/2402.11684

數(shù)據(jù)鏈接：https://huggingface.co/datasets/FreedomIntelligence/ALLaVA-4V

代碼鏈接：https://github.com/FreedomIntelligence/ALLaVA

Demo鏈接：https://allava.freedomai.cn/#/

一、研究背景

近幾個(gè)月來(lái)，大型視覺(jué)-語(yǔ)言模型（LVLMs）的發(fā)展迅速。這些模型能夠處理視覺(jué)和文本輸入，類(lèi)似于人類(lèi)在現(xiàn)實(shí)世界場(chǎng)景中處理信息的方式。一個(gè) LVLM 通常由兩個(gè)關(guān)鍵組件組成，即視覺(jué)編碼器和大型語(yǔ)言模型（LLM）。

因此，LVLMs 不僅能夠執(zhí)行傳統(tǒng)任務(wù)，如圖像標(biāo)題生成和圖文檢索，還能夠遵循人類(lèi)的指令執(zhí)行復(fù)雜的視覺(jué)問(wèn)答（VQA）任務(wù)，使它們成為通往人工通用智能（AGI）的一個(gè)里程碑。

盡管 LVLMs 展現(xiàn)出了卓越的能力，它們通常需要大量資源來(lái)進(jìn)行訓(xùn)練和部署。為了使 LVLMs 方便部署，一些工作致力于開(kāi)發(fā)輕量級(jí) LVLMs。盡管這些模型對(duì)于計(jì)算資源較少的用戶(hù)更加友好，但在某種程度上，它們伴隨著性能的損失，這表現(xiàn)在常規(guī)尺寸 LVLMs 與輕量級(jí)版本之間存在性能差距。

遵循“輸入決定輸出”原則，我們的方法從數(shù)據(jù)中心的角度重新評(píng)估多模態(tài)語(yǔ)言模型。在這個(gè)框架內(nèi)，我們專(zhuān)注于兩個(gè)主要策略：“多模態(tài)對(duì)齊”和“視覺(jué)指令微調(diào)”。前者主要致力于幫助語(yǔ)言模型識(shí)別視覺(jué)對(duì)象并增強(qiáng)其視覺(jué)推理能力，后者著重于使 LVLMs 能夠跨更廣泛的指令泛化，特別是涉及視覺(jué)輸入的指令。

現(xiàn)有工作通常使用 caption 數(shù)據(jù)來(lái)在語(yǔ)言模型中對(duì)齊圖像和文本，但這些數(shù)據(jù)集由簡(jiǎn)短和粗粒度的 caption 組成，引入噪聲信號(hào)并阻礙了視覺(jué)-語(yǔ)言對(duì)齊過(guò)程。此外，[1] 發(fā)現(xiàn) COCO 圖像-文本對(duì)的跨模態(tài)關(guān)聯(lián)有限，這對(duì)在 COCO 基礎(chǔ)上合成高質(zhì)量數(shù)據(jù)的有效性提出了質(zhì)疑。因此，我們需要一個(gè)更合理和可擴(kuò)展的方法來(lái)獲得高質(zhì)量的caption數(shù)據(jù)。

與此同時(shí)，對(duì)齊數(shù)據(jù)的規(guī)模，尤其是高質(zhì)量數(shù)據(jù)的規(guī)模，則相對(duì)有限。這在泛化到更廣泛的長(zhǎng)尾視覺(jué)知識(shí)方面存在挑戰(zhàn)。擴(kuò)大對(duì)齊數(shù)據(jù)的數(shù)量，特別是來(lái)自多樣化來(lái)源的數(shù)據(jù)，對(duì)于實(shí)現(xiàn)對(duì)長(zhǎng)尾視覺(jué)知識(shí)的細(xì)致理解至關(guān)重要。

視覺(jué)指令微調(diào)數(shù)據(jù)同樣存在不足。當(dāng)前的視覺(jué)指令調(diào)整數(shù)據(jù)集（如 Vision-FLAN，OCRVQA，TextVQA）更多地關(guān)注于提高基礎(chǔ)能力，而不是更高級(jí)的能力，如復(fù)雜推理。此外，盡管 Vision-FLAN 中的答案是由人工標(biāo)注的，但它們通常由短語(yǔ)或短句組成，且沒(méi)有格式提示。直接學(xué)習(xí)這樣的輸出將阻礙模型性能，因此我們需要改善或重新生成指令的答案。

二、數(shù)據(jù)集生成

1. 圖像來(lái)源

我們?yōu)閿?shù)據(jù)合成選擇了兩個(gè)圖像來(lái)源：Vision-FLAN（簡(jiǎn)稱(chēng) VFLAN）和 LAION。我們選擇前者是因?yàn)檫@些圖像與近 200 個(gè)任務(wù)的多樣化指令相關(guān)聯(lián)。選擇后者是因?yàn)樗鼇?lái)自“野生”互聯(lián)網(wǎng)的自然圖像，且圖像來(lái)源足夠多樣；此外，圖像來(lái)源也與終端用戶(hù)的實(shí)際用途保持一致。

• LAION 是一個(gè)流行的視覺(jué)-語(yǔ)言對(duì)齊數(shù)據(jù)集，因?yàn)樗瑥木W(wǎng)頁(yè)爬取的多樣化圖像。為了確保圖像質(zhì)量，我們只下載短邊分辨率至少為 512 的圖像。
• Vision-FLAN 是一個(gè)整合了 101 個(gè)開(kāi)源數(shù)據(jù)集中 191 個(gè) VQA 任務(wù)的數(shù)據(jù)集。它包含了對(duì)提高 LVLMs 基礎(chǔ)能力和提升傳統(tǒng) benchmark 表現(xiàn)至關(guān)重要的指令。

2. 使用“先標(biāo)注后問(wèn)答”方式進(jìn)行數(shù)據(jù)合成

為了生成高質(zhì)量的 caption 和視覺(jué)問(wèn)答（VQA），我們提出在單個(gè)會(huì)話(huà)中為一張圖像生成一個(gè) Caption 和一個(gè)問(wèn)答對(duì)，詳見(jiàn)圖 1。具體來(lái)說(shuō)，我們使用圖像提示 GPT-4V，要求它首先生成一個(gè)細(xì)粒度的 caption，然后是一個(gè) VQA 對(duì)。通過(guò)這樣做，整個(gè)數(shù)據(jù)合成過(guò)程包括三個(gè)階段：描述、提問(wèn)和回答。

• 描述：GPT-4V 需要生成盡可能詳細(xì)的圖片描述，用于視覺(jué)語(yǔ)言的模態(tài)對(duì)齊。
• 提問(wèn)：GPT-4V 根據(jù)圖片生成復(fù)雜推理問(wèn)題。
• 回答：GPT-4V 根據(jù)圖片、描述和問(wèn)題生成詳細(xì)的答案。

為了避免潛在的倫理問(wèn)題，我們 prompt 里提示 GPT-4V 拒絕為相關(guān)圖片生成圖片描述，同時(shí)避免生成帶有偏見(jiàn)的答案。

在 VQA 場(chǎng)景中，加入額外的圖片描述是有益的。補(bǔ)充的圖片描述可以被視為額外的上下文，有助于提高答案質(zhì)量并減少幻覺(jué)現(xiàn)象。通過(guò)利用額外的信息，模型獲得對(duì)視覺(jué)和文本組件的全面理解，從而改善其提供準(zhǔn)確和情境相關(guān)回應(yīng)的能力。此外，由于提供了更多的上下文，它可能減輕幻覺(jué)問(wèn)題。

3. 數(shù)據(jù)集卡片

為了緩解模型的文本災(zāi)難性遺忘問(wèn)題，我們也使用 GPT-4-Turbo 重新生成了 WizardLM 指令數(shù)據(jù)集 [2] 的回答部分。

我們將 ALLaVA-4V 數(shù)據(jù)集的名稱(chēng)、來(lái)源及樣本量匯總在表 1 中。圖片數(shù)量達(dá) 700K，總樣本量（包括文本數(shù)據(jù)）達(dá) 1.5M，是目前最大的用于 LVLM 訓(xùn)練的開(kāi)源高質(zhì)量 GPT-4V 數(shù)據(jù)集。

4. 數(shù)據(jù)集樣例

三、實(shí)驗(yàn)

我們以 Phi-2 作為語(yǔ)言模型基座，采用兩階段訓(xùn)練。如表 3 所示，預(yù)訓(xùn)練階段，我們選用 Evol-Instruct-GPT4-Turbo-143K 和 OpenChat [3] 組成純文本數(shù)據(jù)，ALLaVA-Caption-4V 和 ShareGPT4V [4] 組成對(duì)齊數(shù)據(jù)；視覺(jué)語(yǔ)言指令微調(diào)階段，除了文本數(shù)據(jù)，我們用 ALLaVA-Instruct-4V 和 llava_instruct_657K [5] 組成指令數(shù)據(jù)。

我們推出兩個(gè)模型：ALLaVA-3B 和 ALLaVA-3B-Longer。兩個(gè)模型的區(qū)別僅在第二階段，后者比前者多訓(xùn)練一個(gè) epoch。

1. Benchmark結(jié)果

我們的模型展示了卓越的語(yǔ)言能力，在 Vicuna-80 上獲得了 52.5% 的勝率，超過(guò)了 LLaMA2-7B-Chat 提供的 anchor 答案。這個(gè)結(jié)果也大幅超過(guò)了 LLaVA-v1.5-13B，這表明我們文本數(shù)據(jù)的高質(zhì)量以及從 base 模型構(gòu)建 LVLM 的有效性。

對(duì)于多模態(tài)能力，我們根據(jù)答案的形式將我們的 benchmark 分為多項(xiàng)選擇或簡(jiǎn)答（8 個(gè) benchmark）和自由形式生成（3 個(gè) benchmark）。

對(duì)于多項(xiàng)選擇或簡(jiǎn)答 benchmark，ALLaVA-3B 在 MMB、SEEDBench、MM-Vet、MME 和 GQA 上大幅超過(guò)了同規(guī)模的 LVLMs。ALLaVA-3B-Longer 甚至在 MM-Vet、MME 和 EMT 上超過(guò)了 LLaVA-v1.5-13B，盡管其參數(shù)只有后者的 25%。

對(duì)于自由形式生成 benchmark，ALLaVA-3B-Longer 在用于探測(cè)復(fù)雜推理能力 MLLM-Bench上 實(shí)現(xiàn)了 8.8% 的 SOTA 勝率。它在 TouchStone 和 LLaVA（In-the-Wild）上的表現(xiàn)也與 LLaVA-v1.5-13B 相當(dāng)。

2. 定性結(jié)果展示

我們提供了兩個(gè)示例，并比較了 ALLaVA-3B 與其他模型（包括 GPT-4V、LLaVA-v1.5-13B 和 LLaVA-v1.6-13B）的生成結(jié)果。

示例 1 測(cè)試了模型對(duì)幽默理解的能力。這四個(gè)模型都能夠?qū)D片進(jìn)行的描述，捕捉到松鼠和鳥(niǎo)的姿態(tài)并識(shí)別它們各自的角色并分析幽默的原因。

示例2測(cè)試了檢測(cè)情緒的能力。ALLaVA-3B、GPT-4V 和 LLaVA-v1.6-34B 對(duì)女性的面部表情及其潛在情緒的判斷是一致的。然而，LLaVA-v1.5-13B 只給出了粗略的描述，并聲稱(chēng)她正在看向相機(jī)，但實(shí)際上并非如此。

在這兩個(gè)示例中，僅有 3B 參數(shù)的 ALLaVA 能夠與更大模型達(dá)到相似的性能，展示了它從高質(zhì)量訓(xùn)練集中獲得的卓越推理能力。

四、總結(jié)

在這項(xiàng)工作中，我們提出了一個(gè)框架，同時(shí)生成高質(zhì)量的 caption、視覺(jué)指令和答案。這是一種用于獲取更多的 LVLM 訓(xùn)練數(shù)據(jù)的可擴(kuò)展的方法。使用我們合成的數(shù)據(jù)集，我們訓(xùn)練了我們的模型 ALLaVA-3B，該模型在 3B 規(guī)模 LVLMs 的 12 個(gè) benchmark 中取得了有競(jìng)爭(zhēng)力的性能，并且在一些 benchmark 中與更大的 SOTA 模型如 LLaVA-v1.5-13B 的性能相當(dāng)。

我們的數(shù)據(jù)可以顯著縮小輕量級(jí) LVLMs 與常規(guī)尺寸 LVLMs 之間的性能差距。我們向研究社區(qū)開(kāi)源我們的模型和數(shù)據(jù)，以更好地推動(dòng)這一領(lǐng)域的發(fā)展。

本文轉(zhuǎn)載自PaperWeekly

原文鏈接：??https://mp.weixin.qq.com/s/otxd8rEVy2kw2mHzb0JFBA??