論文題目： 

VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models 

論文鏈接：

https://arxiv.org/pdf/2309.16211.pdf

論文代碼：

https://github.com/zihao-ai/vdc

論文網(wǎng)站：

https://versatile-data-cleanser.github.io

一、 背景介紹

以數(shù)據(jù)為中心的人工智能（DCAI）這一新興領(lǐng)域強(qiáng)調(diào)了數(shù)據(jù)在構(gòu)建AI系統(tǒng)的過程中扮演著至關(guān)重要的角色。然而，現(xiàn)實(shí)世界中的數(shù)據(jù)處理面臨著諸多挑戰(zhàn)，尤其是在數(shù)據(jù)質(zhì)量和可靠性方面。數(shù)據(jù)集中可能存在被惡意篡改的樣本，例如通過后門攻擊植入的有毒樣本、眾包標(biāo)注中產(chǎn)生的噪聲標(biāo)簽，甚至這兩類的混合體（不同類型的臟樣本示例如下圖所示）。這些“臟樣本”的存在使得模型變得脆弱且不可靠，嚴(yán)重影響了模型的性能和安全性。

在此背景下，檢測并清除數(shù)據(jù)集中的臟樣本成為了提升數(shù)據(jù)集質(zhì)量和可靠性的關(guān)鍵步驟。盡管已有研究提出了針對(duì)噪聲標(biāo)簽或有毒樣本的檢測方法，但這些方法在泛化能力上往往存在局限，特別是在處理來自不同領(lǐng)域的臟樣本時(shí)。例如檢測噪聲標(biāo)簽的方法往往不能檢測到有毒樣本，反之亦然。

發(fā)表于ICLR2024的《VDC: Versatile Data Cleanser based on Visual-Linguistic Inconsistency by Multimodal Large Language Models》這篇工作提出了一種創(chuàng)新的解決方案。作者發(fā)現(xiàn)，不同類型的臟樣本之間存在一個(gè)共同點(diǎn)，即圖像內(nèi)容與其關(guān)聯(lián)標(biāo)簽之間的視覺-語言語義不一致性。基于這一發(fā)現(xiàn)，研究者們提出了一種通用的數(shù)據(jù)清洗框架——Versatile Data Cleanser（VDC），旨在通過利用多模態(tài)大模型在跨模態(tài)對(duì)齊和理解方面的能力來捕捉語義不一致性，從而準(zhǔn)確的檢測出數(shù)據(jù)集中存在的臟樣本。

二、 方法介紹

2.1 視覺語言不一致性

本文的核心理念是識(shí)別和利用圖像內(nèi)容與其關(guān)聯(lián)標(biāo)簽之間的視覺-語言不一致性（visual-linguistic inconsistency）。這種不一致性通常表現(xiàn)為圖像的視覺特征與文字描述的標(biāo)簽之間存在語義上的不匹配。例如，一張標(biāo)記為“airplane”的圖片實(shí)際上顯示的是一輛“car”，即使圖片中被添加了投毒噪聲（如下圖所示）。鑒于多模態(tài)大模型的迅速發(fā)展，其具有強(qiáng)大的跨模態(tài)理解和推理能力，因此作者提出利用多模態(tài)大模型（MLLM）來捕獲這種不一致性，提出了基于MLLM的通用數(shù)據(jù)清洗器Versatile Data Cleanser (VDC)。

2.2 Versatile Data Cleanser (VDC) 框架

VDC框架由以下三個(gè)主要模塊組成（如下圖所示）：

• 視覺問題生成 (Visual Question Generation, VQG) 模塊： 該模塊基于圖像和關(guān)聯(lián)標(biāo)簽生成一系列有洞察力的問題。這些問題旨在從圖像中提取深層次的語義信息，包括一般性問題和標(biāo)簽特定問題。
• 視覺回答 (Visual Question Answering, VQA) 模塊： 該模塊利用MLLM來回答VQG模塊生成的問題，從而獲取圖像內(nèi)容的語義信息。通過這種方式，VDC能夠理解圖像的實(shí)際內(nèi)容，并將其與標(biāo)簽進(jìn)行比較。
• 視覺答案評(píng)估 (Visual Answer Evaluation, VAE) 模塊： 該模塊評(píng)估MLLM提供的答案與預(yù)期答案之間的匹配程度，從而判斷圖像內(nèi)容與標(biāo)簽之間的一致性。如果答案的匹配程度低于某個(gè)閾值，則該樣本可能被認(rèn)為是臟樣本。

2.3 視覺問題生成 (Visual Question Generation, VQG) 模塊

VQG模塊是VDC框架的第一步，它負(fù)責(zé)生成與給定標(biāo)簽相關(guān)的問題。這些問題設(shè)計(jì)用來揭示圖像內(nèi)容和標(biāo)簽之間的潛在不一致性，為后續(xù)的問題回答和答案評(píng)估模塊提供基礎(chǔ)。包括一般性問題和標(biāo)簽特定問題兩類問題。

一般性問題 (General Questions)

VQG模塊首先生成一些一般性問題，這些問題旨在從全局角度獲取圖像的整體語義理解。例如，對(duì)于一張圖像，一般性問題可能包括“請(qǐng)簡要描述這張圖片”或“這張圖片的主要元素是什么”。這些問題不依賴于特定的標(biāo)簽信息，而是旨在從圖像中提取普遍的視覺特征。對(duì)于一般性問題，VQG模塊可以利用預(yù)定義的問題模板來生成。這些模板是固定的，可以適用于各種不同的圖像和標(biāo)簽。

標(biāo)簽特定問題 (Label-specific Questions)

除了一般性問題之外，VQG模塊還會(huì)根據(jù)圖像的關(guān)聯(lián)標(biāo)簽生成一系列標(biāo)簽特定問題。這些問題更加細(xì)致和具體，旨在深入挖掘圖像中與標(biāo)簽直接相關(guān)的特征和屬性。例如，如果圖像的標(biāo)簽是“飛機(jī)”，那么一個(gè)標(biāo)簽特定問題可能是“圖像中的物體是否設(shè)計(jì)用來在空中飛行？”這類問題需要結(jié)合圖像的視覺內(nèi)容和標(biāo)簽的語義信息來生成。對(duì)于標(biāo)簽特定問題，VQG模塊利用LLM來自動(dòng)生成問題。通過精心設(shè)計(jì)的提示（prompt），模型能夠根據(jù)標(biāo)簽的語義內(nèi)容生成相關(guān)的問題。這種方法的優(yōu)勢在于它能夠自動(dòng)適應(yīng)大量的標(biāo)簽，而不需要人工為每個(gè)標(biāo)簽單獨(dú)設(shè)計(jì)問題。

2.4 視覺問答 (Visual Question Answering, VQA) 模塊

視覺問答（VQA）模塊是VDC框架中負(fù)責(zé)獲取圖像語義信息的關(guān)鍵部分，它通過多模態(tài)大模型（MLLM）來回答由視覺問題生成（VQG）模塊提出的關(guān)于圖像的各種視覺問題。VQA模塊首先接收來自VQG的圖像和問題，然后利用MLLM的能力，結(jié)合圖像的視覺特征和問題的文本信息，生成詳細(xì)且準(zhǔn)確的回答，以便后續(xù)的視覺答案評(píng)估（VAE）模塊能夠有效地評(píng)估圖像和標(biāo)簽之間的一致性，從而識(shí)別出潛在的數(shù)據(jù)集中的臟樣本。VQA模塊的性能對(duì)于整個(gè)VDC框架至關(guān)重要，因?yàn)樗苯佑绊懙綌?shù)據(jù)清洗的準(zhǔn)確性和AI模型的可靠性。

2.5 視覺答案評(píng)估 (Visual Answer Evaluation, VAE) 模塊

視覺答案評(píng)估（VAE）模塊是VDC框架中負(fù)責(zé)評(píng)估由視覺問題回答（VQA）模塊生成的答案與預(yù)期答案之間一致性的組件。該模塊的目標(biāo)是通過評(píng)估答案的準(zhǔn)確性來檢測圖像和其關(guān)聯(lián)標(biāo)簽之間的視覺-語言不一致性，從而判斷樣本是否為臟樣本。VAE模塊接收VQA模塊提供的答案以及VQG模塊生成的問題的預(yù)期答案。

對(duì)于每個(gè)問題-答案對(duì)，VAE模塊評(píng)估MLLM生成的答案是否與預(yù)期答案一致。對(duì)于標(biāo)簽特定的問題，這通常涉及到字符串匹配或模式識(shí)別，以確定答案是否符合預(yù)期。對(duì)于一般性問題，答案可能不是簡單的“是”或“否”，而是需要更復(fù)雜的語義理解。在這種情況下，VAE模塊可能使用專門的評(píng)估技術(shù)或額外的MLLM來確定答案的相關(guān)性和準(zhǔn)確性。VAE模塊根據(jù)所有問題-答案對(duì)的得分計(jì)算一個(gè)總體匹配得分。如果這個(gè)得分低于預(yù)設(shè)的閾值，則認(rèn)為樣本可能包含錯(cuò)誤或不一致性，從而將其標(biāo)記為臟樣本。

三、 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在多個(gè)公認(rèn)的基準(zhǔn)數(shù)據(jù)集上進(jìn)行，包括CIFAR-10、ImageNet-100和ImageNet-Dog等。這些數(shù)據(jù)集廣泛用于圖像識(shí)別和分類任務(wù)，且具有不同的復(fù)雜性和多樣性，從而確保了實(shí)驗(yàn)結(jié)果的廣泛適用性。

3.2 臟樣本生成

為了模擬現(xiàn)實(shí)世界中的數(shù)據(jù)污染情況，作者采用了多種方法生成臟樣本，包括后門攻擊生成投毒樣本（如BadNets、Blended、SIG、TrojanNN、SSBA和WaNet）和噪聲標(biāo)簽?zāi)Ｐ蜕稍肼晿颖荆▽?duì)稱和非對(duì)稱噪聲）。這些臟樣本被引入到數(shù)據(jù)集中，以測試VDC框架的檢測能力。實(shí)驗(yàn)采用的投毒樣本示例如下所示。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果顯示，VDC框架在各種類型的臟樣本檢測上均表現(xiàn)出色。無論是面對(duì)可見的觸發(fā)器攻擊還是隱蔽的后門攻擊，VDC都能保持高TPR，同時(shí)維持低FPR，顯示出良好的泛化能力和魯棒性。此外，VDC在處理不同類別和數(shù)量的臟樣本時(shí)，其性能幾乎沒有波動(dòng)，這表明了其對(duì)不同數(shù)據(jù)集噪聲的適應(yīng)性（更多結(jié)果請(qǐng)查看原文）。

四、 總結(jié)與展望

本文提出一種基于多模態(tài)大模型的通用數(shù)據(jù)清洗器，旨在通過檢測和清除數(shù)據(jù)集中的視覺-語言不一致性來提升數(shù)據(jù)質(zhì)量和AI模型的可靠性。該框架通過視覺問題生成、視覺問答和視覺答案評(píng)估三個(gè)模塊，有效地識(shí)別并處理了包括有毒樣本和噪聲標(biāo)簽在內(nèi)的臟樣本。在多個(gè)基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了VDC的高效性和泛化能力，展示了其在DCAI領(lǐng)域的重要應(yīng)用潛力。隨著大模型技術(shù)的不斷發(fā)展，VDC框架有望在未來的數(shù)據(jù)清洗和質(zhì)量提升工作中發(fā)揮更大的作用，為構(gòu)建更加智能和可靠的AI系統(tǒng)提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。

Illustration From IconScout By IconScout Store

本文轉(zhuǎn)載自??將門創(chuàng)投??，作者：朱梓豪 ????