論文鏈接:https://arxiv.org/pdf/2412.13195

git鏈接:https://github.com/blurgyy/CoMPaSS

亮點(diǎn)直擊

• 一個(gè)綜合的訓(xùn)練框架CoMPaSS，顯著增強(qiáng)了T2I擴(kuò)散模型的空間理解能力。
• 一個(gè)系統(tǒng)化的數(shù)據(jù)引擎SCOP，通過(guò)施加原則性約束來(lái)識(shí)別和驗(yàn)證圖像中對(duì)象對(duì)之間明確的空間關(guān)系，從而能夠策劃高質(zhì)量的空間訓(xùn)練數(shù)據(jù)。
• 一個(gè)無(wú)參數(shù)模塊TENOR，進(jìn)一步提高了任何架構(gòu)的T2I擴(kuò)散模型的空間理解能力，同時(shí)增加的計(jì)算開銷可以忽略不計(jì)。

總結(jié)速覽

解決的問(wèn)題

文本到圖像（T2I）擴(kuò)散模型在生成圖像時(shí)，通常無(wú)法準(zhǔn)確呈現(xiàn)文本提示中描述的空間關(guān)系。主要原因有兩個(gè)：1）現(xiàn)有數(shù)據(jù)集中與空間相關(guān)的數(shù)據(jù)具有模糊性；2）當(dāng)前文本編碼器無(wú)法準(zhǔn)確解析輸入描述的空間語(yǔ)義。

提出的方案

引入CoMPaSS框架，該框架包括兩個(gè)關(guān)鍵模塊：空間約束導(dǎo)向配對(duì)（SCOP）數(shù)據(jù)引擎和token編碼順序（TENOR）模塊。SCOP通過(guò)施加原則性空間約束來(lái)策劃空間準(zhǔn)確的訓(xùn)練數(shù)據(jù)，以解決數(shù)據(jù)模糊性問(wèn)題。TENOR模塊則改善文本編碼器對(duì)空間語(yǔ)義的解析，充分利用高質(zhì)量的空間先驗(yàn)。

應(yīng)用的技術(shù)

• SCOP數(shù)據(jù)引擎：通過(guò)一組原則性空間約束識(shí)別和驗(yàn)證圖像中對(duì)象之間的明確空間關(guān)系，從而策劃高質(zhì)量的空間訓(xùn)練數(shù)據(jù)。
• TENOR模塊：一個(gè)無(wú)參數(shù)模塊，優(yōu)化文本編碼器的空間理解能力，幾乎不增加計(jì)算開銷。

達(dá)到的效果

• CoMPaSS框架在四種流行的開源T2I擴(kuò)散模型上展示了其有效性，顯著提升了模型在空間關(guān)系生成上的表現(xiàn)。
• 在多個(gè)基準(zhǔn)測(cè)試中取得了顯著的相對(duì)增益，包括VISOR（+98%）、T2I-CompBench Spatial（+67%）和GenEval Position（+131%），刷新了SOTA。

方法

CoMPaSS?，這是一種用于提高文本到圖像擴(kuò)散模型空間理解能力的綜合解決方案。開發(fā)了空間約束導(dǎo)向配對(duì)（SCOP）數(shù)據(jù)引擎，該引擎從圖像中提取具有明確空間關(guān)系的對(duì)象對(duì)，并提供其準(zhǔn)確的文本描述。介紹了Token編碼排序（TENOR）模塊，這是一個(gè)即插即用的模塊，通過(guò)引入顯式的token排序信息來(lái)增強(qiáng)文本輸入中空間語(yǔ)義的保留。

這些組件共同形成了一種提高文本到圖像擴(kuò)散模型空間理解能力的綜合方法：SCOP通過(guò)精心策劃的空間關(guān)系提供高質(zhì)量的空間先驗(yàn)，而TENOR使模型能夠在生成過(guò)程中有效地解釋和利用這些空間先驗(yàn)。

SCOP數(shù)據(jù)引擎

在生成模型中實(shí)現(xiàn)高質(zhì)量的空間理解需要訓(xùn)練數(shù)據(jù)具有明確的空間關(guān)系。然而，現(xiàn)有的文本-圖像數(shù)據(jù)集往往包含存在問(wèn)題的空間描述。如下圖2所示，1）“左”和“右”等術(shù)語(yǔ)由于視角模糊性而受到影響，可能不一致地指代觀察者視角或?qū)ο蟊旧淼姆较颍?）方向性術(shù)語(yǔ)經(jīng)常在非空間上下文中使用（例如，“正確的選擇”）；3）空間關(guān)系常常缺少或錯(cuò)誤地描述參考對(duì)象，使得無(wú)法確定預(yù)期的空間配置。這些問(wèn)題給試圖從此類數(shù)據(jù)中學(xué)習(xí)可靠空間關(guān)系的模型帶來(lái)了重大挑戰(zhàn)。

通過(guò)空間約束導(dǎo)向配對(duì)（SCOP）數(shù)據(jù)引擎來(lái)解決這一限制，該引擎通過(guò)精心設(shè)計(jì)的空間約束來(lái)識(shí)別和驗(yàn)證對(duì)象對(duì)之間的空間關(guān)系。如下圖3所示，

SCOP通過(guò)三個(gè)關(guān)鍵階段處理圖像：

• 視覺(jué)重要性：對(duì)象必須占據(jù)圖像的足夠部分，以確保其空間關(guān)系具有意義：

一個(gè)相對(duì)較小的Tv值確保了上一階段推理的空間關(guān)系成為圖像的主要特征，而不是背景元素的偶然排列。

語(yǔ)義區(qū)分：對(duì)象必須屬于不同的類別，例如：

該約束消除了在空間描述中，由于同一對(duì)象類別的多個(gè)實(shí)例而可能產(chǎn)生的參考混淆。

最小重疊：對(duì)象必須保持足夠的視覺(jué)分離。

重疊閾值  保持了單個(gè)對(duì)象的可見(jiàn)性，同時(shí)允許諸如“杯子在桌子上”這類自然的空間配置，其中預(yù)期會(huì)有部分重疊。

尺寸平衡：成對(duì)的對(duì)象應(yīng)具有相當(dāng)?shù)囊曈X(jué)顯著性。

通過(guò)這一約束，兩個(gè)對(duì)象應(yīng)在空間關(guān)系中有類似的貢獻(xiàn)，防止出現(xiàn)一個(gè)對(duì)象過(guò)小而無(wú)法作為可靠的空間參考的情況。這些約束有效地過(guò)濾掉了模糊的空間關(guān)系，同時(shí)保留了自然的對(duì)象交互，為清晰和一致的空間描述奠定了堅(jiān)實(shí)的基礎(chǔ)。

SCOP 數(shù)據(jù)集。 在 COCO 訓(xùn)練集上自動(dòng)化 SCOP，以策劃一個(gè)專門用于訓(xùn)練具有改進(jìn)空間理解能力的 T2I 模型的數(shù)據(jù)集，涵蓋超過(guò) 15,000 張圖像中的 28,000 多個(gè)對(duì)象對(duì)，具有明確定義的空間關(guān)系和準(zhǔn)確的空間描述符。該數(shù)據(jù)集顯著提高了在其上訓(xùn)練的 T2I 擴(kuò)散模型的空間理解能力，而其規(guī)模僅為網(wǎng)絡(luò)規(guī)模數(shù)據(jù)集的一小部分（LAION-400M的 0.004% 或 CC-12M的 0.13%），展示了 SCOP 數(shù)據(jù)引擎的效率和效能。

SCOP數(shù)據(jù)引擎提取的示例對(duì)象對(duì)及其相應(yīng)的邊界框:

Token 編碼排序模塊

文本到圖像的擴(kuò)散模型依賴于文本編碼器，將自然語(yǔ)言描述轉(zhuǎn)化為語(yǔ)義表示，以指導(dǎo)圖像生成過(guò)程。為了生成準(zhǔn)確的空間關(guān)系，這些語(yǔ)義表示必須保留輸入文本中描述的準(zhǔn)確空間關(guān)系。這是T2I（文本到圖像）擴(kuò)散模型有效空間理解的基礎(chǔ)。

空間理解分析。 研究擴(kuò)散模型是否能夠正確表示空間信息。關(guān)鍵見(jiàn)解是，如果文本編碼器能夠正確保留空間關(guān)系，那么邏輯上等效的空間描述在其編碼表示中應(yīng)該具有高度相似性。設(shè)計(jì)了一個(gè)agent任務(wù)來(lái)量化這一特性：給定一個(gè)描述空間關(guān)系的基本提示（例如，“A在B的左邊”），生成其三個(gè)變體：

• 重述：邏輯上等效但措辭不同（“B在A的右邊”）；
• 否定關(guān)系：將關(guān)系短語(yǔ)替換為其相反的短語(yǔ)（“A在B的右邊”）；
• 交換實(shí)體：交換對(duì)象位置（“B在A的左邊”）。

理論上，只有重述的變體應(yīng)該產(chǎn)生與基本提示相似的編碼。

為了確保全面的評(píng)估，使用COCO中的所有80個(gè)對(duì)象類別進(jìn)行分析，結(jié)合四種基本空間關(guān)系（“左”、“右”、“上”、“下”），生成了6,320個(gè)提示。根據(jù)編碼表示之間的相似性，檢索出最相似的提示變體，使用四個(gè)文本編碼器進(jìn)行評(píng)估。結(jié)果如表1所示：即使是擁有110億參數(shù)的T5-XXL也在95%以上的情況下無(wú)法識(shí)別邏輯上等效的變體。較輕的編碼器如CLIP在不同的模型尺寸上幾乎完全失敗，這表明當(dāng)前的文本編碼器在其編碼表示中沒(méi)有充分保留空間關(guān)系。

解決方案。 基于這一分析，提出了TENOR，這是一種即插即用的模塊，旨在彌補(bǔ)當(dāng)前文本編碼器的局限性。TENOR通過(guò)在整個(gè)文本到圖像生成過(guò)程中的注意力操作中增強(qiáng)條件文本信號(hào)的原始token順序信息來(lái)運(yùn)行。與transformer中的原始位置編碼僅將位置編碼添加到初始標(biāo)記embedding不同，TENOR明確地將token順序信息注入到擴(kuò)散模型中的每一次文本-圖像注意力操作中。這一設(shè)計(jì)確保了每次文本指導(dǎo)影響圖像生成過(guò)程時(shí)，空間語(yǔ)義都能得到積極保留。

實(shí)現(xiàn)與效率。 下圖 4 展示了 TENOR 的整體過(guò)程。具體來(lái)說(shuō)，在擴(kuò)散模型中的每一次文本-圖像注意力操作中，TENOR 將絕對(duì)位置編碼添加到 UNet 模型的 K 向量，以及 MMDiT 模型的 Ktext 和 Qtext。在現(xiàn)有方法中，有建議在訓(xùn)練期間微調(diào)文本編碼器、在測(cè)試時(shí)進(jìn)行優(yōu)化或結(jié)合大語(yǔ)言模型，但這些方法在訓(xùn)練或推理時(shí)會(huì)增加顯著的計(jì)算開銷。相比之下，我們的解決方案不需要擴(kuò)散模型以外的額外可訓(xùn)練參數(shù)，并且在推理時(shí)幾乎沒(méi)有計(jì)算負(fù)擔(dān)。雖然適配 TENOR 需要對(duì)擴(kuò)散模型進(jìn)行簡(jiǎn)短的微調(diào)，但這一過(guò)程比訓(xùn)練新的空間感知文本編碼器要高效得多。根據(jù)經(jīng)驗(yàn)，發(fā)現(xiàn)這種方法顯著提高了 UNet 模型和 MMDiT 模型 FLUX 的空間理解能力。

證明空間關(guān)系“左”的附加結(jié)果:

證明空間關(guān)系“上”的附加結(jié)果:

證明空間關(guān)系“右”的附加結(jié)果:

證明空間關(guān)系“下”的附加結(jié)果:

實(shí)驗(yàn)

訓(xùn)練細(xì)節(jié)

評(píng)估指標(biāo)

我們?cè)趲讉€(gè)著名的基準(zhǔn)上對(duì)CoMPaSS進(jìn)行了廣泛評(píng)估，這些基準(zhǔn)如下所述：

• T2I-CompBench和GenEval是兩個(gè)用于全面評(píng)估文本-圖像對(duì)齊能力的基準(zhǔn)。除了空間相關(guān)評(píng)估外，它們還提供評(píng)估屬性綁定正確性、非空間關(guān)系和計(jì)數(shù)的方法。我們使用它們來(lái)評(píng)估CoMPaSS在非空間理解任務(wù)上的性能影響。
• Frechet Inception Distance (FID)和CLIP Maximum Mean Discrepancy (CMMD)用于估計(jì)從文本到圖像模型生成的圖像的保真度。FID估計(jì)生成圖像的逼真度。CMMD是一種圖像質(zhì)量估計(jì)器，與人類偏好更好地對(duì)齊，旨在彌補(bǔ)FID的一些局限性。我們報(bào)告這兩者的結(jié)果。

主要結(jié)果

空間理解。 在多個(gè)基準(zhǔn)測(cè)試中評(píng)估空間關(guān)系生成的準(zhǔn)確性，并在下表2中報(bào)告結(jié)果。將CoMPaSS添加到現(xiàn)有擴(kuò)散模型中，在所有與空間相關(guān)的指標(biāo)上達(dá)到了新的SOTA水平。值得注意的是，在最佳開放權(quán)重?cái)U(kuò)散模型FLUX.1中，CoMPaSS在VISOR上獲得了+98%的相對(duì)增益，在T2I-CompBench Spatial上獲得了+67%的增益，在GenEval Position上獲得了131%的增益。如下圖5所示，現(xiàn)有模型通常在空間關(guān)系上表現(xiàn)不佳，而CoMPaSS有效地解決了這些局限性，即使是在訓(xùn)練期間未見(jiàn)過(guò)的新空間配置上，也表現(xiàn)出顯著的空間理解提升。

通用生成能力和保真度。 除了與空間相關(guān)的指標(biāo)外，還在GenEval和T2I-CompBench基準(zhǔn)測(cè)試中評(píng)估其他任務(wù)，以及FID和CMMD的圖像保真度評(píng)分。結(jié)果在下表3和下表5中報(bào)告。CoMPaSS專門提高了與空間相關(guān)的性能，同時(shí)提高了整體對(duì)齊分?jǐn)?shù)和圖像保真度。推測(cè)在基礎(chǔ)模型中，空間術(shù)語(yǔ)與不相關(guān)的語(yǔ)義糾纏在一起，這是由于數(shù)據(jù)嚴(yán)重缺陷和表示不清晰造成的。通過(guò)專門解開空間術(shù)語(yǔ)的糾纏，模型也學(xué)會(huì)了更好地理解語(yǔ)言的其他方面，從而在其他任務(wù)上取得了改進(jìn)。

消融研究

在接下來(lái)的實(shí)驗(yàn)中，對(duì)SD1.5（最流行且易于獲取的基于UNet的擴(kuò)散模型）和FLUX.1-dev（基于MMDiT架構(gòu)的最先進(jìn)擴(kuò)散模型）進(jìn)行對(duì)照實(shí)驗(yàn)，以更好地理解每個(gè)組件如何影響生成性能。在不同設(shè)置下的空間準(zhǔn)確性指標(biāo)在下表4中報(bào)告。

SCOP的效果。 在每個(gè)模型中比較設(shè)置(i)和(ii)顯示，僅SCOP就對(duì)擴(kuò)散模型的空間理解有顯著貢獻(xiàn)。這一發(fā)現(xiàn)與我們的初始動(dòng)機(jī)一致，識(shí)別出當(dāng)前模型在空間相關(guān)生成上失敗的一個(gè)主要原因是，當(dāng)前數(shù)據(jù)集產(chǎn)生了嚴(yán)重缺陷的空間相關(guān)圖像-文本數(shù)據(jù)。這也證實(shí)了SCOP能夠篩選出一組高質(zhì)量的數(shù)據(jù)，直接促進(jìn)了擴(kuò)散模型的空間理解。

TENOR的效果。 上表4顯示，方法完整（每個(gè)模型中的設(shè)置(iii)）進(jìn)一步提高了空間準(zhǔn)確性。用訓(xùn)練期間未見(jiàn)過(guò)的文本描述提示模型，并將生成結(jié)果與設(shè)置(ii)進(jìn)行比較。結(jié)果如下圖6所示。雖然SCOP提供了豐富且準(zhǔn)確的空間先驗(yàn)，但只有在結(jié)合TENOR后，模型才能更好地推廣到未見(jiàn)過(guò)的復(fù)雜空間配置。這一現(xiàn)象與我們?cè)谏媳?中關(guān)于流行文本編碼器空間理解缺陷的初步發(fā)現(xiàn)緊密相關(guān)：當(dāng)完全相反的文本描述的語(yǔ)義表示無(wú)法區(qū)分時(shí)，模型被訓(xùn)練去對(duì)齊來(lái)自看似相似文本條件的混合圖像信號(hào)，導(dǎo)致超出訓(xùn)練數(shù)據(jù)的泛化能力差。

TENOR通過(guò)在整個(gè)擴(kuò)散模型中主動(dòng)將token順序信息注入每次文本-圖像注意操作，解決了這一問(wèn)題，在輸入層面解開不同的空間配置，減輕了模型區(qū)分不同空間術(shù)語(yǔ)的負(fù)擔(dān)，從而在未見(jiàn)過(guò)的設(shè)置上實(shí)現(xiàn)更好的零樣本生成。

結(jié)論

CoMPaSS，這是一種多功能訓(xùn)練框架，可增強(qiáng)任何文本到圖像擴(kuò)散模型的空間理解能力。CoMPaSS通過(guò)SCOP數(shù)據(jù)引擎解決了數(shù)據(jù)集中空間關(guān)系模糊的問(wèn)題，SCOP通過(guò)原則性約束來(lái)策劃空間準(zhǔn)確的訓(xùn)練數(shù)據(jù)。CoMPaSS還使用了一個(gè)無(wú)參數(shù)模塊TENOR，該模塊在不增加計(jì)算開銷的情況下，進(jìn)一步提升了任何架構(gòu)的文本到圖像擴(kuò)散模型的空間理解能力。對(duì)四種流行的開源擴(kuò)散模型進(jìn)行了廣泛的實(shí)驗(yàn)，涵蓋了基于UNet的模型（SD1.4、SD1.5、SD2.1）和基于MMDiT的FLUX.1，并在知名基準(zhǔn)測(cè)試中設(shè)定了新的行業(yè)標(biāo)準(zhǔn)，取得了顯著的相對(duì)增益，包括VISOR（+98%）、T2I-CompBench Spatial+67%）和GenEval Position =（+131%）。重要的是，空間理解能力的提升并沒(méi)有以犧牲一般生成能力或圖像質(zhì)量為代價(jià)。通過(guò)解決當(dāng)前文本到圖像擴(kuò)散模型的一個(gè)基本限制，相信CoMPaSS在可靠的空間精確圖像生成方面邁出了重要一步，并為需要精確空間控制的應(yīng)用打開了新的可能性。

本文轉(zhuǎn)自AI生成未來(lái) ，作者：AI生成未來(lái)

原文鏈接:??https://mp.weixin.qq.com/s/vRIdQtpvLbemlAlZ9NFlgg??