摘要

盡管下一令牌預(yù)測被視為通往通用人工智能的一條有前途的道路，但它在多模態(tài)任務(wù)中一直難以取得優(yōu)異成績，目前多模態(tài)任務(wù)仍由擴散模型（如 Stable Diffusion）和組合方法（如 CLIP 與大語言模型相結(jié)合）主導(dǎo)。在本文中，我們介紹 Emu3，這是一套全新的最先進的多模態(tài)模型，僅通過下一令牌預(yù)測進行訓(xùn)練。通過將圖像、文本和視頻標記化到離散空間中，我們在多模態(tài)序列的混合數(shù)據(jù)上從頭開始訓(xùn)練一個單一的 Transformer。Emu3 在生成和感知任務(wù)上優(yōu)于多個成熟的特定任務(wù)模型，超越了 SDXL 和 LLaVA-1.6 等旗艦?zāi)Ｐ?，同時無需使用擴散或組合架構(gòu)。Emu3 還能夠通過預(yù)測視頻序列中的下一令牌來生成高保真度的視頻。我們將焦點匯聚于令牌，簡化了復(fù)雜的多模態(tài)模型設(shè)計，在訓(xùn)練和推理過程中釋放了巨大的擴展?jié)摿?。我們的結(jié)果表明，下一令牌預(yù)測是構(gòu)建超越語言的通用多模態(tài)智能的一條有前途的途徑。我們開源了關(guān)鍵技術(shù)和模型，以支持這一方向的進一步研究。

圖1：Emu3通過單個Transformer在視頻、圖像和文本令牌的混合數(shù)據(jù)上進行訓(xùn)練，以預(yù)測下一個令牌。與成熟的特定任務(wù)模型相比，Emu3在生成和感知任務(wù)中均達到了最先進的性能。

- 該圖展示了Emu3的訓(xùn)練機制，即利用單個Transformer處理由視頻、圖像和文本構(gòu)成的混合令牌數(shù)據(jù)來預(yù)測下一個令牌。同時表明在生成任務(wù)（如根據(jù)文本生成圖像、視頻等）和感知任務(wù)（如圖像分類、視覺 - 語言理解等）方面，Emu3與已有的特定任務(wù)模型相比，性能處于頂尖水平。

圖2：與開源旗艦?zāi)Ｐ驮谝曈X生成和感知方面的比較- 此圖對Emu3與開源的旗艦?zāi)Ｐ停ㄈ鏢DXL、LLaVA - 1.6 - 7B、OpenSora - 1.2）在視覺生成（如圖像生成、視頻生成）和視覺 - 語言感知（如理解圖像與文本之間的關(guān)系、回答基于圖像和文本的問題）這兩個領(lǐng)域的性能進行對比。Emu3僅依靠下一令牌預(yù)測的方式，在這兩方面均展現(xiàn)出優(yōu)勢，且完全不依賴擴散模型和CLIP技術(shù)。在圖像生成任務(wù)中，通過基于英文提示的人工評估分數(shù)來對比；在視覺 - 語言理解任務(wù)中，依據(jù)十二個基準測試（SEEDBench - Img、OCRBench等）的平均分數(shù)進行比較；在視頻生成任務(wù)中，則以VBench基準測試的結(jié)果作為對比依據(jù)。

1、引言

下一令牌預(yù)測徹底改變了語言模型領(lǐng)域，推動了 ChatGPT 等突破的出現(xiàn)，并引發(fā)了關(guān)于通用人工智能（AGI）早期跡象的討論。然而，這一范式在多模態(tài)模型中的適用性仍不明確，其在不同任務(wù)中實現(xiàn)有競爭力的性能的有效性證據(jù)有限。

在多模態(tài)模型領(lǐng)域，視覺生成一直由復(fù)雜的擴散模型（如 Stable Diffusion）主導(dǎo)，而視覺 - 語言感知則由 CLIP 與大語言模型（如 LLaVA）等組合方法引領(lǐng)。盡管早期有統(tǒng)一生成和感知的嘗試，如 Emu 和 Chameleon，但這些努力要么依賴于將大語言模型與擴散模型連接起來，要么在性能上無法與專為生成和感知設(shè)計的特定任務(wù)方法相媲美。

在這項工作中，我們提出 Emu3，這是一套全新的、完全基于下一令牌預(yù)測的最先進多模態(tài)模型，完全摒棄了對擴散或組合方法的需求。我們將圖像、文本和視頻標記化到離散空間中，并在多模態(tài)序列的混合數(shù)據(jù)上從頭開始聯(lián)合訓(xùn)練一個單一的 Transformer。

Emu3 在生成和感知任務(wù)上與成熟的特定任務(wù)模型相比，達到了最先進的性能。在人工評估和 MSCOCO-30K、GenEval、T2I-CompBench 和 DPG-Bench 等公開的文本到圖像基準測試中，Emu3 的表現(xiàn)均優(yōu)于旗艦?zāi)Ｐ?Stable Diffusion（即 SDXL）。在視覺 - 語言理解方面，Emu3 在一系列公開的視覺 - 語言基準測試中，包括 SEED-Bench、RealWorldQA、OCRBench 等，與流行的視覺 - 語言模型 LLaVA-1.6 展開競爭。

Emu3 能夠生成視頻。與使用視頻擴散模型從噪聲生成視頻的 Sora 不同，Emu3 通過預(yù)測視頻序列中的下一令牌，以因果方式生成視頻。該模型可以模擬物理世界中環(huán)境、人物和動物的某些方面。在給定視頻上下文的情況下，Emu3 可以擴展視頻并預(yù)測接下來會發(fā)生什么。根據(jù)用戶的提示，該模型可以生成符合文本描述的高保真視頻。Emu3 在 VBench 基準測試的文本到視頻生成任務(wù)中脫穎而出，與其他視頻擴散模型展開競爭。

我們開源關(guān)鍵技術(shù)和模型，以促進這一方向的未來研究。值得注意的是，我們提供了一個強大的視覺標記器，能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散令牌，這在以前是無法公開獲取的。我們還展示了下一令牌預(yù)測框架的多功能性，表明直接偏好優(yōu)化（DPO）可以無縫應(yīng)用于自回歸視覺生成，使模型與人類偏好保持一致。我們的結(jié)果有力地證明，下一令牌預(yù)測可以作為多模態(tài)模型的強大范式，超越語言模型，在多模態(tài)任務(wù)中實現(xiàn)最先進的性能。通過簡化復(fù)雜的模型設(shè)計并僅專注于令牌，它在訓(xùn)練和推理過程中釋放了巨大的擴展?jié)摿?。我們相信，下一令牌預(yù)測為構(gòu)建通用多模態(tài)智能提供了一條有前途的途徑。

2、方法

2.1 數(shù)據(jù)

Emu3 在語言、圖像和視頻數(shù)據(jù)的混合數(shù)據(jù)上從頭開始訓(xùn)練。

?語言數(shù)據(jù)：我們使用與 Aquila 相同的語言數(shù)據(jù)，這是一個高質(zhì)量的語料庫，包含中文和英文數(shù)據(jù)。

?圖像數(shù)據(jù)：我們整理了一個大規(guī)模的圖像 - 文本數(shù)據(jù)集，包括開源網(wǎng)絡(luò)數(shù)據(jù)、人工智能生成的數(shù)據(jù)和高質(zhì)量的內(nèi)部數(shù)據(jù)。過濾過程包括幾個關(guān)鍵步驟：1）應(yīng)用分辨率過濾器，丟棄分辨率低于 512×512 像素的樣本。2）使用 LAION-AI 美學(xué)預(yù)測器評估每個圖像的美學(xué)質(zhì)量，排除得分低于 5.5 的圖像，以確保整體美學(xué)質(zhì)量。3）對于未通過美學(xué)過濾器的圖像，我們采用文本檢測和顏色過濾，保留非單色圖像和文本最少的圖像，提高對開放世界圖像的過濾召回率。4）此外，我們?yōu)閳D像理解準備補充數(shù)據(jù)。通過遵循 DenseFusion 中的數(shù)據(jù)處理流程，我們從各種開源網(wǎng)絡(luò)數(shù)據(jù)中提取了數(shù)百萬個具有代表性的圖像，涵蓋廣泛的類別，包括圖表、表格、富含文本的內(nèi)容等。

為了注釋過濾后的數(shù)據(jù)集，我們開發(fā)了一個基于 Emu2 的圖像字幕模型，以構(gòu)建密集的合成字幕。我們利用帶有詳細提示的 GPT-4V 生成約 100 萬個圖像 - 字幕對。然后，使用這個注釋數(shù)據(jù)集對 Emu2-17B 模型進行微調(diào)，作為我們的圖像字幕生成器。此外，我們使用開源的 vLLM 庫來加速標記過程。

?視頻數(shù)據(jù)：我們收集了涵蓋廣泛類別的視頻，如風景、動物、植物、游戲和動作。這些視頻通過一個復(fù)雜的流程進行預(yù)處理，包括以下四個階段：1）我們使用 PySceneDectect 將視頻分割成場景，分別使用 ContentDetector 和 ThresholdDetector 來識別內(nèi)容變化和淡入 / 淡出事件。2）使用 PaddleOCR 進行文本檢測，并刪除文本覆蓋過多的片段。為了降低計算成本，我們以 2FPS 對視頻幀進行采樣，并將較短的邊緣調(diào)整為 256 像素。3）我們進一步計算光流，以消除運動極小或極大的片段。與上一步一樣，為了提高效率，我們對視頻幀進行采樣和調(diào)整大小。光流得分定義為所有像素的平均光流幅度與較短邊緣的比率。我們排除光流得分超出可接受范圍的片段。4）最后，我們使用 LAION-AI 美學(xué)預(yù)測器評估每個片段的美學(xué)質(zhì)量。我們對每個片段采樣三幀并獲得三個分數(shù)，丟棄最低分數(shù)小于 5 的片段。

我們使用基于圖像字幕生成器訓(xùn)練的視頻字幕生成器為過濾后的視頻片段添加字幕。訓(xùn)練數(shù)據(jù)最初由 GPT-4V 標記。對于每個視頻片段，我們采樣八幀，并為 GPT-4V 創(chuàng)建一個詳細的提示，以描述這些幀內(nèi)的內(nèi)容和運動。部分標記數(shù)據(jù)經(jīng)過人工修訂。然后，我們在這些標記數(shù)據(jù)上對圖像字幕生成器進行微調(diào)，以開發(fā)視頻字幕生成器。為了大規(guī)模部署，我們使用 vLLM 加速字幕生成。對于短于 20 秒的片段，使用 12 個均勻采樣的幀進行字幕生成，而較長的片段則被分割成 10 - 20 秒的子片段，每個子片段獨立進行字幕生成。

2.2 視覺標記器

我們基于 SBER-MoVQGAN 訓(xùn)練視覺標記器，它可以將 4×512×512 的視頻片段或 512×512 的圖像從大小為 32768 的碼本中編碼為 4096 個離散令牌。我們的標記器在時間維度上實現(xiàn) 4 倍壓縮，在空間維度上實現(xiàn) 8×8 壓縮，適用于任何時間和空間分辨率。在 MoVQGAN 架構(gòu)的基礎(chǔ)上，我們在編碼器和解碼器模塊中都融入了兩個帶有 3D 卷積核的時間殘差層，以增強視頻標記化能力。該標記器在 LAION-High-Resolution 圖像數(shù)據(jù)集和 InternVid 視頻數(shù)據(jù)集上使用 L2 損失、LPIPS 感知損失、GAN 損失和承諾損失的組合目標函數(shù)進行端到端訓(xùn)練。

定性結(jié)果如圖 3 所示。我們在表 2 中報告了使用來自 Pexels 的 3172 個視頻的評估數(shù)據(jù)集計算的 LPIPS（由 AlexNet 特征計算）、PSNR 和 SSIM 分數(shù)。視頻在保持寬高比的情況下重建 5 秒。在評估期間，原始視頻和重建視頻根據(jù)較短的邊進行調(diào)整大小和裁剪，并以 12FPS 均勻采樣 8 幀。

圖3：重建樣本- 該圖呈現(xiàn)了視覺標記器對數(shù)據(jù)處理后的重建效果。左圖展示了分辨率為540×960的原始視頻以及經(jīng)過處理后的重建視頻，以每秒30幀的幀率選取8幀展示，用于觀察視頻在重建前后的細節(jié)差異。右圖展示了分辨率為512×512的原始圖像和重建圖像，可通過放大圖像查看細節(jié)，以此評估視覺標記器對圖像信息的保留和重建能力。

表1：Emu3視覺標記器配置 - 該表詳細列出了Emu3視覺標記器的各項配置參數(shù)。包括預(yù)訓(xùn)練權(quán)重（采用SBER - MoVQGAN - 270M 5）、碼本大?。?2768）、潛在大小（是4）、壓縮率（4×8×8 ，表示在時間和空間維度上的壓縮比例）等信息，這些參數(shù)共同決定了視覺標記器對視頻和圖像進行編碼和解碼的方式及性能。

表2：視頻壓縮指標 - 此表展示了不同分辨率（128×128、256×256、512×512、720×720）下視頻壓縮后的相關(guān)指標數(shù)據(jù)。這些指標包括LPIPS（用于衡量圖像之間的感知差異）、PSNR（評估圖像質(zhì)量的峰值信噪比）、SSIM（結(jié)構(gòu)相似性指數(shù)，衡量圖像之間的結(jié)構(gòu)相似度），通過這些指標可以量化不同分辨率下視頻壓縮后的質(zhì)量變化和相似程度，幫助評估視頻壓縮效果。

2.3 架構(gòu)

Emu3 模型保留了 Llama-2 等成熟大語言模型的架構(gòu)框架，主要修改是擴展嵌入層以適應(yīng)離散視覺令牌。我們使用 RMSNorm 進行歸一化，使用 GQA 作為注意力機制，同時采用 SwiGLU 激活函數(shù)和旋轉(zhuǎn)位置嵌入（RoPE）。去除 qkv 和線性投影層中的偏差。此外，實施 0.1 的隨機失活率以提高訓(xùn)練穩(wěn)定性。我們使用 QwenTokenizer 對多語言文本進行標記化。詳細配置見表 3。

表3：模型配置- 該表給出了Emu3模型的詳細架構(gòu)配置信息。涵蓋參數(shù)數(shù)量（80億）、層數(shù)（32層）、隱藏層大?。?096）、中間層大?。?4336）、頭數(shù)（32個）、KV頭數(shù)（8個）、詞匯表大?。?84622）、RoPE基準（1000000 ，與旋轉(zhuǎn)位置嵌入相關(guān)的參數(shù)）、上下文長度（131072）等參數(shù)，這些配置參數(shù)決定了Emu3模型的結(jié)構(gòu)和性能特點，影響其在多模態(tài)任務(wù)中的表現(xiàn)。

2.4 預(yù)訓(xùn)練

?數(shù)據(jù)準備：在預(yù)訓(xùn)練期間，我們首先定義多模態(tài)數(shù)據(jù)格式。與依賴外部文本編碼器的擴散模型不同，Emu3 原生集成了用于圖像 / 視頻生成的文本條件信息。我們在保持寬高比的情況下將圖像 / 視頻重新縮放到面積接近 512×512 的大小，然后使用視覺標記器生成視覺令牌。然后，我們引入五個特殊令牌來合并文本和視覺數(shù)據(jù)，為訓(xùn)練過程創(chuàng)建類似文檔的輸入。生成的訓(xùn)練數(shù)據(jù)結(jié)構(gòu)如下：[BOS]{caption text}[SOV]{meta text}[SOT]{vision tokens}[EOV][EOS]。

其中，[BOS] 和 [EOS] 是文本標記器中的原始特殊令牌，[SOV] 標記視覺輸入的開始，[SOT] 標記視覺令牌的開始，[EOV] 表示視覺輸入的結(jié)束。此外，[EOL] 和 [EOF] 被插入到視覺令牌中，分別表示換行符和幀分隔符?！癿eta text” 包含圖像的分辨率信息，對于視頻，它包括分辨率、幀率和持續(xù)時間，均以純文本格式呈現(xiàn)。我們還將數(shù)據(jù)集中一部分的 “caption text” 字段移動到 [EOV] 令牌之后，從而構(gòu)建針對視覺理解任務(wù)的數(shù)據(jù)。

?訓(xùn)練目標：由于 Emu3 中的視覺信號完全轉(zhuǎn)換為離散令牌，我們只需要使用標準交叉熵損失進行下一令牌預(yù)測任務(wù)的訓(xùn)練。為了防止視覺令牌主導(dǎo)學(xué)習(xí)過程，我們對與視覺令牌相關(guān)的損失應(yīng)用 0.5 的權(quán)重。

?訓(xùn)練細節(jié)：Emu3 模型在預(yù)訓(xùn)練期間利用廣泛的上下文長度來處理視頻數(shù)據(jù)。為了便于訓(xùn)練，我們采用張量并行（TP）、上下文并行（CP）和數(shù)據(jù)并行（DP）的組合。我們同時將文本 - 圖像數(shù)據(jù)打包到最大上下文長度，以充分利用計算資源，同時確保在打包過程中完整的圖像不會被分割。預(yù)訓(xùn)練過程分兩個階段進行。在第一階段，不使用視頻數(shù)據(jù)，從文本和圖像數(shù)據(jù)開始從頭訓(xùn)練，上下文長度為 5120。在第二階段，引入視頻數(shù)據(jù)，采用 131072 的上下文長度。兩個階段都使用5?—10^{-5}的學(xué)習(xí)率，并采用余弦退火將學(xué)習(xí)率降至零。

2.5 后訓(xùn)練

2.5.1 視覺生成

?質(zhì)量微調(diào)：在預(yù)訓(xùn)練階段之后，我們對視覺生成任務(wù)進行后訓(xùn)練，以提高生成輸出的質(zhì)量。我們使用高質(zhì)量數(shù)據(jù)進行質(zhì)量微調(diào)（QFT）。模型繼續(xù)使用標準交叉熵損失進行下一令牌預(yù)測任務(wù)的訓(xùn)練；然而，監(jiān)督僅應(yīng)用于視覺令牌。對于 QFT 中的圖像數(shù)據(jù)，我們選擇多樣的高質(zhì)量數(shù)據(jù)源，并根據(jù) HPSv2.1、MPS 和 LAION 美學(xué)分數(shù)這三個流行偏好分數(shù)的平均值進行過濾。在 QFT 期間，我們將訓(xùn)練數(shù)據(jù)分辨率從 512 像素提高到 720 像素，以提高生成質(zhì)量。對于視頻數(shù)據(jù)，我們從高質(zhì)量源中采樣，并應(yīng)用嚴格的分辨率和光流過濾器以確保質(zhì)量。此外，在訓(xùn)練結(jié)束時，我們使用退火策略將學(xué)習(xí)率線性衰減至零。

?直接偏好優(yōu)化：直接偏好優(yōu)化（DPO）是一種使模型更好地與人類偏好保持一致的有效方法。我們將 DPO 技術(shù)應(yīng)用于自回歸多模態(tài)生成任務(wù)，利用人類偏好數(shù)據(jù)來提高模型性能。我們將數(shù)據(jù)集構(gòu)建分為三個步驟：1）使用質(zhì)量微調(diào)后的模型對每個用戶收集的提示(p)進行 8 - 10 次推理，創(chuàng)建初始數(shù)據(jù)池(x)。2）每個提示由三個評估人員進行評估，重點關(guān)注視覺吸引力和提示匹配度。3）根據(jù)分數(shù)，選擇得分最高的樣本，拒絕得分最低的樣本，與提示一起形成三元組(p_{i}, x_{i}^{chosen}, rejected)，用于進一步訓(xùn)練。具體來說，數(shù)據(jù)構(gòu)建過程中的令牌被存儲起來，以便在未來的訓(xùn)練階段直接使用。這種策略消除了重新標記化導(dǎo)致的重建差異。Emu3-DPO 通過最小化 DPO 損失和下一令牌預(yù)測交叉熵損失來對 QFT 模型進行微調(diào)。

2.5.2 視覺 - 語言理解

預(yù)訓(xùn)練模型在視覺 - 語言理解方面要經(jīng)過兩階段的后訓(xùn)練過程：1）圖像到文本訓(xùn)練，2）指令調(diào)整。在第一階段，我們的方法將圖像理解數(shù)據(jù)與純語言數(shù)據(jù)相結(jié)合，同時忽略與視覺令牌相關(guān)的損失，僅進行文本預(yù)測。每個圖像在保持原始寬高比的情況下調(diào)整為約 512×512 的分辨率。在第二階段，我們從 [44] 中采樣一部分問答對，以增強視覺指令跟隨能力。分辨率低于 512×512 或高于 1024×1024 的圖像將分別調(diào)整為較低或較高的分辨率限制，同時相應(yīng)地保持寬高比，而其他圖像則保持其原始分辨率。

3、主要結(jié)果

3.1 圖像生成

3.1.1 自動指標評估

我們通過在流行的文本到圖像基準測試（MSCOCO-30K、GenEval、T2I-CompBench 和 DPG-Bench）上進行自動指標評估，展示 Emu3 的性能。表 4 展示了 Emu3 與擴散方法、自回歸擴散方法和基于自回歸的方法在這四個基準測試中的比較結(jié)果。我們的方法在圖像 - 文本對齊評估中優(yōu)于自回歸擴散方法，并且與最先進的基于擴散的模型相當，盡管我們沒有使用任何預(yù)訓(xùn)練的語言模型。

表4：與最先進模型在文本到圖像基準測試中的比較

- 該表在MSCOCO - 30K、GenEval、T2I - CompBench和DPG - Bench這四個用于評估文本到圖像生成能力的基準測試中，對Emu3與當前最先進的模型進行性能對比。帶?的結(jié)果是經(jīng)過重寫后的結(jié)果，通過對比不同模型在這些基準測試中的各項指標（如圖像 - 文本對齊度、生成圖像質(zhì)量等），可以清晰地看出Emu3在文本到圖像生成任務(wù)中的優(yōu)勢和競爭力。

在使用重寫器擴展短提示后，我們報告 GenEval 和 T2I-CompBench 的結(jié)果。由于 Emu3 在訓(xùn)練過程中使用了大量的合成標簽，在密集字幕方面比短提示表現(xiàn)更優(yōu)。然而，GenEval 和 T2I-CompBench 中的評估提示過于簡短，無法準確反映模型的真實性能。遵循 DALL-E 3，我們也報告使用 GPT-4V 作為重寫器的評估結(jié)果。GenEval 總體得分結(jié)果表明，Emu3 顯著優(yōu)于多模態(tài)自回歸模型 Chameleon，以及最新的自回歸擴散方法 Show-O 和 Transfusion。此外，Emu3 超過了 SDXL，并與包括 DALL-E 3 在內(nèi)的最先進的擴散模型性能相匹配。附錄 B.1 中提供了所有維度的詳細比較，包括原始提示的結(jié)果。

為了進一步評估最先進的文本到圖像方法，特別是擴散模型，我們使用 T2I-CompBench 評估生成圖像與文本條件之間的對齊情況。Emu3 與基于擴散的最先進模型相比，表現(xiàn)出有競爭力的性能。此外，我們在 DPG-Bench 上比較我們的模型與最先進的模型，該基準測試具有更長的提示，包含更詳細的評估信息。我們的 Emu3-DPO 總體得分達到 81.6，超過了 SDXL 和 PixArt-alpha，與 DALL-E 3 相當，進一步證明了該模型遵循長提示的能力。在比較 Emu3 和 Emu3-DPO 時，我們觀察到應(yīng)用 DPO 后評估結(jié)果略有下降，這可能歸因于我們的 DPO 數(shù)據(jù)集中強調(diào)整體美學(xué)質(zhì)量的偏好，這與自動評估模型的領(lǐng)域不同，使得僅通過自動評估得出的結(jié)論變得復(fù)雜。因此，我們在 3.1.2 節(jié)中引入了人工評估。

3.1.2 人工評估

我們進行了一項人工評估，比較不同模型的文本到圖像生成能力。收集了一組 100 個多樣的用戶提示，每個提示由三個獨立的評估人員進行評估。評估主要集中在兩個方面：視覺質(zhì)量和提示跟隨度，綜合得分反映整體性能。如圖 5 所示，我們展示了當前封閉和開放生成式圖像模型的人工偏好比較。結(jié)果表明，Emu3 在總體得分上超過了 SDXL，與 DALL-E 3 和 MJ-v5.2 相當。此外，圖 6 展示了通過 DPO 微調(diào)的對齊效果，有效提高了視覺質(zhì)量和提示跟隨度。

圖片

圖5：封閉和開放生成式圖像模型在中英文提示下的人工評估總體得分比較

- 該圖比較了不同類型（封閉和開放）的生成式圖像模型在中文和英文提示下的表現(xiàn)。通過收集大量用戶給出的中英文提示，由人工從視覺質(zhì)量（如圖像的清晰度、色彩、構(gòu)圖等）和提示跟隨度（生成圖像與提示內(nèi)容的匹配程度）等方面進行評估打分，最終得到每個模型的總體得分，從而對比不同模型在處理中英文提示時生成圖像的綜合能力。

圖6：DPO對視覺質(zhì)量和提示對齊的提升 - 此圖主要展示直接偏好優(yōu)化（DPO）技術(shù)應(yīng)用于Emu3模型后產(chǎn)生的效果。重點體現(xiàn)DPO在提升生成圖像的視覺質(zhì)量（如使圖像更清晰、更具美感）以及增強提示對齊（生成圖像更符合給定的文本提示內(nèi)容）方面的作用，突出DPO對模型性能優(yōu)化的具體表現(xiàn)。

3.1.3 定性結(jié)果

圖 4 展示了 Emu3 生成的 25 張圖像，以展示其能力。Emu3 支持靈活的分辨率和寬高比，并且能夠處理各種風格。

圖4：Emu3文本到圖像生成的定性結(jié)果- 此圖展示Emu3將文本轉(zhuǎn)換為圖像的生成效果，從定性的角度（如生成圖像的風格多樣性、對文本描述的還原程度、圖像的美觀度等方面）呈現(xiàn)Emu3在文本到圖像生成任務(wù)上的成果，幫助直觀感受Emu3在該任務(wù)上的表現(xiàn)。

3.2 視頻生成

與訓(xùn)練階段一致，Emu3 原生支持以 24FPS 生成 5 秒視頻，并可以通過自回歸方法無限擴展。圖 7 展示了視頻生成的定性示例，從開頭 3 秒中提取了 6 幀進行展示。

我們對 Emu3 與 13 個性能最佳的開源和專有文本到視頻模型進行了定量比較。使用的基準測試是 VBench，這是一個用于評估視頻生成性能的綜合工具包，它在 16 個維度上評估每個模型的質(zhì)量和語義能力。除了 Emu3 是自回歸模型外，所有其他公開可比的方法都是擴散模型。盡管如此，如表 5 所示，Emu3 在總體得分上與其他最先進的模型相比，表現(xiàn)出極具競爭力的結(jié)果。具體來說，雖然它略遜于 Kling 和 Gen-3 等最先進的專有模型，但它優(yōu)于大多數(shù)開源文本到視頻模型。這些結(jié)果突出了 Emu3很強的視頻生成能力。

圖7：Emu3文本到視頻生成的定性結(jié)果- 該圖呈現(xiàn)Emu3在文本到視頻生成任務(wù)中的成果，從定性方面（如生成視頻的內(nèi)容連貫性、與文本提示的契合度、視頻的視覺效果等）展示Emu3根據(jù)文本生成視頻的能力。通過從生成的視頻中選取開頭3秒并提取6幀進行展示，讓觀察者直觀感受Emu3生成視頻的質(zhì)量和特點。

表5：與最先進文本到視頻模型在VBench基準測試中的比較 - 此表在VBench基準測試環(huán)境下，對Emu3與其他最先進的文本到視頻模型進行比較。從VBench的16個評估維度中選取11個維度（如運動平滑度、動態(tài)程度、美學(xué)質(zhì)量等）以及最終綜合分數(shù)進行展示。除Emu3是自回歸（AR）模型外，其他可對比的公開方法均為擴散（Diff）模型，且指標數(shù)值越高代表對應(yīng)模型在該維度的表現(xiàn)越好，以此全面評估Emu3在文本到視頻生成任務(wù)中與其他模型的差異和優(yōu)勢。

3.3 未來預(yù)測

Emu3 可以通過預(yù)測未來幀來擴展視頻。在圖 8 中，我們展示了視頻擴展的定性示例，將 2 秒、24FPS 的視頻標記為離散視覺令牌作為上下文。Emu3 以相同的離散視覺令牌形式預(yù)測隨后 2 秒的內(nèi)容，這些令牌可以被解標記以生成未來預(yù)測的視頻。這些示例表明，僅使用下一令牌預(yù)測就可以實現(xiàn)視頻的時間擴展，包括預(yù)測人類和動物的動作、與現(xiàn)實世界的交互以及三維動畫的變化。此外，通過以這種方式擴展視頻時長，我們的方法能夠迭代生成超過其上下文長度的視頻。我們已經(jīng)觀察到，以 2 秒的視頻數(shù)據(jù)作為上下文成功擴展未來視頻幀 8 秒是可行的。

圖8：Emu3視頻擴展的定性結(jié)果- 此圖展示Emu3在視頻擴展任務(wù)中的表現(xiàn)。以2秒、24幀每秒的視頻作為初始上下文，Emu3預(yù)測并生成后續(xù)2秒的視頻內(nèi)容。圖中每秒采樣3幀進行顯示，通過這些展示的幀，可直觀評估Emu3在視頻時間維度上的拓展能力，以及對視頻內(nèi)容未來發(fā)展的預(yù)測準確性和合理性。

3.4 視覺 - 語言理解

為了評估在 2.5.2 節(jié)中微調(diào)后的 Emu3 的視覺 - 語言理解能力，我們在各種公開的視覺 - 語言基準測試中對模型進行了測試。主要結(jié)果詳見表 6，比較了兩類方法：1）基于編碼器的方法，利用預(yù)訓(xùn)練的 CLIP 視覺編碼器；2）無編碼器的方法，無需預(yù)訓(xùn)練編碼器。Emu3 作為一種純粹的無編碼器方法脫穎而出，在多個基準測試中顯著超越了其同類方法。這一成就的取得沒有依賴專門的預(yù)訓(xùn)練大語言模型和 CLIP，凸顯了 Emu3 在多模態(tài)理解方面的內(nèi)在能力和巨大潛力。

表6：在視覺 - 語言基準測試中的比較- 該表收集了多個視覺 - 語言基準測試（SEEDB即SEEDBench - Img、OCRB即OCRBench等）的評估數(shù)據(jù)，用于對比Emu3與基于編碼器的方法（這類方法依賴預(yù)訓(xùn)練的CLIP視覺編碼器）和無編碼器的方法在這些測試中的表現(xiàn)。帶的表示在訓(xùn)練過程中觀察到了相關(guān)訓(xùn)練數(shù)據(jù)集的圖像，通過對比不同模型在各個基準測試中的分數(shù)，評估Emu3在視覺 - 語言理解任務(wù)方面的能力和水平。

4、相關(guān)工作

視覺 - 語言理解

CLIP 通過在大規(guī)模圖像 - 文本對上進行對比學(xué)習(xí)，學(xué)習(xí)可遷移的視覺表示，在圖像分類任務(wù)中實現(xiàn)了令人矚目的零樣本結(jié)果。Flamingo 通過將預(yù)訓(xùn)練的語言模型和類似于 CLIP 的視覺編碼器連接起來，首次展示了有前景的少樣本多模態(tài)理解能力。隨著大語言模型的日益普及和發(fā)展，將預(yù)訓(xùn)練的視覺編碼器與大語言模型融合，已成為訓(xùn)練廣泛的視覺 - 語言模型（VLMs）的常用方法。BLIP 系列、MiniGPT4 和 LLaVA 通過將視覺編碼器與大語言模型連接，并在圖像 - 文本對和視覺指令調(diào)整數(shù)據(jù)上進行訓(xùn)練，展現(xiàn)出了令人鼓舞的結(jié)果。通過精心策劃的數(shù)據(jù)集和改進的訓(xùn)練策略，LLaVA 系列及其他優(yōu)秀作品在性能上有了進一步提升。雖然像 Fuyu 和 EVE 等模型引入了無編碼器的視覺 - 語言架構(gòu)，將圖像補丁輸入到大語言模型中，但它們在與最先進的視覺 - 語言模型競爭時仍面臨挑戰(zhàn)。Emu3 首次證明，僅在下一代令牌預(yù)測上訓(xùn)練的僅解碼器模型，能夠取得與基于編碼器的視覺 - 語言模型相當甚至更優(yōu)的性能。這為這種架構(gòu)的進一步改進開辟了道路。

視覺生成

最近，視覺生成領(lǐng)域的進展在很大程度上由擴散模型主導(dǎo)。這些模型在通過擴散過程生成高分辨率圖像方面展示出了令人印象深刻的能力。Stable Diffusion 系列的開源發(fā)布，推動了這一方向的廣泛研究和發(fā)展。另一條研究路線是訓(xùn)練自回歸模型，通過預(yù)測序列中的下一個令牌來生成圖像，如 DALL-E、CogView 和 Parti。VideoGPT 和 VideoPoet 也在視頻領(lǐng)域采用自回歸方法。然而，它們要么在性能上無法與擴散模型相媲美，要么依賴級聯(lián) / 組合方法，例如 VideoPoet 使用兩階段的生成和細化框架以及額外的文本編碼器。在這項工作中，Emu3 通過單個 Transformer 解碼器展示了最先進的圖像和視頻生成能力。值得注意的是，我們開源了相關(guān)技術(shù)，以支持這一方向的進一步研究和發(fā)展。

統(tǒng)一理解與生成

早期有一些統(tǒng)一視覺理解和生成的嘗試，在圖像和文本數(shù)據(jù)上探索各種生成目標。Emu 和 Emu2 引入了統(tǒng)一的自回歸目標：通過回歸視覺嵌入或分類文本令牌來預(yù)測下一個多模態(tài)元素。CM3Leon 和 Chameleon 在混合的圖像和文本數(shù)據(jù)上訓(xùn)練基于令牌的自回歸模型。最近的方法如 TransFusion 和 Show-o 試圖結(jié)合擴散和自回歸方法來提升性能。然而，這些模型在視覺生成和理解方面，仍落后于像 SDXL 和 LLaVA-1.6 這樣的特定任務(wù)架構(gòu)。Emu3 首次證明，跨圖像、視頻和文本的下一個令牌預(yù)測可以超越這些成熟的模型，而無需依賴組合方法。

5、結(jié)論

在本文中，我們介紹了 Emu3，這是一系列新的多模態(tài)模型，通過下一個令牌預(yù)測在多模態(tài)生成和感知方面表現(xiàn)卓越。通過將圖像、文本和視頻標記為離散空間，并從頭開始訓(xùn)練單個 Transformer，Emu3 不僅消除了對擴散和組合方法的依賴，還超越了 SDXL 和 LLaVA-1.6 等已有的特定任務(wù)模型的性能。我們的結(jié)果有力地證明，下一個令牌預(yù)測可以作為多模態(tài)模型的強大范式，超越語言模型，在包括具有挑戰(zhàn)性的視頻生成在內(nèi)的各種任務(wù)中提供最先進的性能。我們相信，下一個令牌預(yù)測在追求通用多模態(tài)智能的過程中不僅可行，而且具有優(yōu)勢，使我們更接近通用人工智能的實現(xiàn)。

本文轉(zhuǎn)載自??AIRoobt?? ，作者：Emu3 Team