在人工智能領(lǐng)域不斷發(fā)展的今天，多模態(tài)大型語言模型（MLLMs）已經(jīng)成為一種變革性的力量，它們能夠跨越不同數(shù)據(jù)表現(xiàn)形式的鴻溝，實(shí)現(xiàn)數(shù)據(jù)的理解和整合。這些模型擅長從多種模態(tài)（如文本和圖像）中整合信息，顯著擴(kuò)展了研究和實(shí)際應(yīng)用的范圍。在這一領(lǐng)域內(nèi)，一個關(guān)鍵的研究方向是圖形用戶界面（GUI）的任務(wù)自動化。GUI任務(wù)的自動化為提高各種應(yīng)用的效率和生產(chǎn)力提供了巨大的潛力。然而，現(xiàn)有的模型和基準(zhǔn)主要集中在基于文本的任務(wù)上，這種方法忽視了多模態(tài)代理有效處理和整合視覺信息以解決問題的巨大潛力。我們研究的主要推動力是這些模型的應(yīng)用，特別強(qiáng)調(diào)在GUI圖像上下文中的“著陸”概念。在MLLMs領(lǐng)域，著陸指的是將語言中的詞語或短語與其他模態(tài)中的相應(yīng)實(shí)體關(guān)聯(lián)起來的過程。例如，在文本-圖像配對中，“蘋果”一詞將與蘋果的圖像相對應(yīng)。MLLMs在自動化GUI任務(wù)中有效且精確地進(jìn)行著陸尤為關(guān)鍵。

論文標(biāo)題、機(jī)構(gòu)、論文鏈接 

論文標(biāo)題: IV-Zen: Efficient GUI Understanding and Precise Grounding With A Novel Multimodal LLM

機(jī)構(gòu): SuperAGI Research

論文鏈接: http://arxiv.org/pdf/2405.15341

本研究旨在通過開發(fā)一種能夠有效導(dǎo)航、理解和與GUI元素高精度交互的多模態(tài)大型語言模型（MLLM），推動基于多模態(tài)代理的GUI任務(wù)自動化的邊界。

V-Zen模型介紹

V-Zen是一種新型的多模態(tài)大型語言模型（MLLM），專為圖形用戶界面（GUI）的理解和精確定位而設(shè)計(jì)。它不僅僅是一個多模態(tài)語言模型，而是一個高級的GUI代理，能夠準(zhǔn)確處理圖像和文本輸入，解釋自然語言指令，精確識別GUI元素，并在網(wǎng)站上執(zhí)行操作以完成用戶定義的目標(biāo)。

V-Zen的核心在于其視覺定位模塊，該模塊利用DINO檢測器的功能，使其能夠有效處理多模態(tài)定位任務(wù)。除了LLM的文本響應(yīng)之外，定位模塊還單獨(dú)提供定位坐標(biāo)，取代了典型的對象檢測模塊，從而確保坐標(biāo)的精確性。此外，模型的性能通過高交叉分辨率模塊（HRCM）得到進(jìn)一步增強(qiáng)，該模塊使模型能夠處理高分辨率特征并理解圖像中的文本。

為了推動基于代理的多模態(tài)GUI任務(wù)自動化的研究邊界，我們還創(chuàng)建了一個名為GUIDE（Graphical User Interface Data for Execution）的數(shù)據(jù)集，這是一個前沿的基準(zhǔn)數(shù)據(jù)集，包括跨各種GUI平臺收集的邊界框注釋和帶有思維鏈的文本描述。GUIDE數(shù)據(jù)集在推動代理研究方面起到了助推作用，最終導(dǎo)致了更靈活、響應(yīng)更快、更類似于人的代理在多個領(lǐng)域的發(fā)展。

多模態(tài)融合與視覺理解

多模態(tài)融合是指在一個模型中整合來自不同數(shù)據(jù)源（如文本、圖像、聲音等）的信息的過程。在V-Zen模型中，這一過程尤為關(guān)鍵，因?yàn)樗枰幚砗屠斫鈦碜訥UI的圖像和文本指令。V-Zen通過幾個關(guān)鍵的技術(shù)模塊來實(shí)現(xiàn)這一點(diǎn)：

1. 低分辨率視覺特征提取器（LRVFE）：這一模塊使用低分辨率編碼器（如EVA-2-CLIP）處理輸入圖像，提取圖像的關(guān)鍵特征，為后續(xù)的高級處理做準(zhǔn)備。

2. 多模態(tài)投影適配器（MPA）：此模塊負(fù)責(zé)將從LRVFE提取的特征轉(zhuǎn)換成適合LLM處理的格式，確保圖像特征與文本模態(tài)能夠在同一多模態(tài)嵌入空間中對齊。

3. 預(yù)訓(xùn)練的帶視覺專家的語言模型（PLMVE）：這一模塊結(jié)合了視覺專家層和原始LLM層，用于生成基于處理后的圖像特征和文本輸入的文本輸出。

4. 高分辨率交叉視覺模塊（HRCVM）：靈感來自于CogAgent，設(shè)計(jì)用于處理更高分辨率的輸入，它使用更小的視覺編碼器和交叉注意力機(jī)制，將高分辨率圖像特征與PLMVE的每一層融合。

5. 高精度定位模塊（HPGM）：這一模塊采用增強(qiáng)的DETR對象檢測器（命名為DINO），從PLMVE中提取的隱藏狀態(tài)用作視覺定位的查詢，以精確地定位GUI元素。

通過這些模塊的協(xié)同工作，V-Zen不僅能夠理解GUI的視覺和文本信息，還能精確地執(zhí)行定位任務(wù)，極大地提高了模型在真實(shí)世界應(yīng)用中的實(shí)用性和效率。

精確定位與執(zhí)行：高精度定位模塊（HPGM）

在多模態(tài)大型語言模型（MLLM）的研究和應(yīng)用中，精確地定位和執(zhí)行任務(wù)是至關(guān)重要的一環(huán)。特別是在圖形用戶界面（GUI）自動化的背景下，高精度定位模塊（HPGM）的作用尤為突出。HPGM不僅僅是一個普通的對象檢測模塊，它通過使用增強(qiáng)的DETR（名為DINO）對象檢測器，能夠以極高的精度輸出邊界框坐標(biāo)。

這一模塊的核心在于它如何處理和利用從預(yù)訓(xùn)練語言模型帶有視覺專家（PLMVE）中提取的隱藏狀態(tài)。這些隱藏狀態(tài)被用作視覺定位的查詢，與多尺度特征集進(jìn)行交互，以精確地定位GUI元素。多尺度特征集是使用基于Swin Transformer的骨干網(wǎng)絡(luò)獲得的，這進(jìn)一步增強(qiáng)了模型對圖像中細(xì)微元素的識別能力。

通過這種方式，HPGM能夠精確地識別和互動GUI元素，這對于提高自動化任務(wù)的效率和準(zhǔn)確性至關(guān)重要。例如，在處理一個包含多個按鈕和圖標(biāo)的復(fù)雜GUI界面時，HPGM能夠準(zhǔn)確地識別出用戶指定的操作對象，從而有效地支持后續(xù)的自動化操作。

GUIDE數(shù)據(jù)集的構(gòu)建與應(yīng)用

GUIDE（Graphical User Interface Data for Execution）數(shù)據(jù)集是為了推動多模態(tài)大型語言模型（MLLM）在圖形用戶界面自動化領(lǐng)域的應(yīng)用而特別設(shè)計(jì)的。這個數(shù)據(jù)集包含了124,000個數(shù)據(jù)點(diǎn)，涵蓋了從Apollo.io到Gmail等多種GUI平臺的用戶交互。

每個數(shù)據(jù)條目都包含一個圖像、一個任務(wù)描述、上一個動作和下一個要執(zhí)行的動作，以及執(zhí)行動作所需的定位信息。此外，數(shù)據(jù)集還包括了一個思維鏈（Chain of Thought），記錄了之前的動作歷史，這有助于模型在執(zhí)行任務(wù)時進(jìn)行上下文推理。

GUIDE數(shù)據(jù)集的構(gòu)建使用了先進(jìn)的注釋工具NEXTAG（Next Action Grounding and Annotation Tool），并且適配了多種操作系統(tǒng)和瀏覽器。通過多個注釋者的協(xié)作，數(shù)據(jù)集能夠捕捉到不同設(shè)計(jì)風(fēng)格和用戶交互方式的多樣性。

在實(shí)際應(yīng)用中，GUIDE數(shù)據(jù)集支持跨界面的自動化任務(wù)研究，并鼓勵開發(fā)能夠在多平臺上運(yùn)行的MLLM。數(shù)據(jù)集的設(shè)計(jì)不僅僅是為了訓(xùn)練模型識別下一個任務(wù)，更重要的是能夠準(zhǔn)確執(zhí)行與GUI元素（如按鈕、圖標(biāo)等）的交互，這對于實(shí)現(xiàn)高效的GUI自動化至關(guān)重要。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

1. 實(shí)驗(yàn)設(shè)計(jì)

在我們的研究中，實(shí)驗(yàn)的設(shè)計(jì)旨在驗(yàn)證多模態(tài)大型語言模型（MLLM）V-Zen在圖形用戶界面（GUI）任務(wù)自動化中的有效性。我們特別關(guān)注了兩個核心任務(wù)：下一任務(wù)預(yù)測和元素定位（Grounding）。

為了進(jìn)行這些實(shí)驗(yàn)，我們首先使用了GUIDE數(shù)據(jù)集，該數(shù)據(jù)集包括了124,000個數(shù)據(jù)點(diǎn)，涵蓋了多種GUI環(huán)境中的用戶交互。這些數(shù)據(jù)點(diǎn)不僅包括圖像和任務(wù)描述，還包括了執(zhí)行任務(wù)所需的具體動作和位置信息。

我們的模型V-Zen在兩個階段接受訓(xùn)練：預(yù)訓(xùn)練和特定任務(wù)的微調(diào)。預(yù)訓(xùn)練階段，模型學(xué)習(xí)處理高分辨率圖像并適應(yīng)GUI應(yīng)用，強(qiáng)調(diào)文本識別、視覺定位和理解GUI圖像。微調(diào)階段則使用GUIDE數(shù)據(jù)集，使模型能夠?qū)W習(xí)復(fù)雜的工作流程和動作歷史，從而在遇到新的GUI時，能夠做出準(zhǔn)確的推斷和執(zhí)行相關(guān)動作。

2. 結(jié)果分析

在下一任務(wù)預(yù)測方面，V-Zen的表現(xiàn)優(yōu)于其他同類模型，如CogAgent、GPT-4V等。V-Zen在這一任務(wù)中的準(zhǔn)確率達(dá)到了93.2%，這一結(jié)果表明V-Zen能夠準(zhǔn)確預(yù)測GUI環(huán)境中的后續(xù)任務(wù)，顯示出其在實(shí)際應(yīng)用中的潛力。

在元素定位任務(wù)中，V-Zen同樣表現(xiàn)出色，其定位準(zhǔn)確率達(dá)到了89.7%。這一成績不僅展示了V-Zen在精確定位GUI元素方面的能力，也突顯了其在GUI任務(wù)自動化中的實(shí)用性。

這些實(shí)驗(yàn)結(jié)果驗(yàn)證了V-Zen在GUI理解和任務(wù)執(zhí)行方面的有效性，同時也展示了其在多模態(tài)大型語言模型領(lǐng)域中的先進(jìn)性。

討論與未來工作

1. 討論

V-Zen模型的成功歸功于其創(chuàng)新的架構(gòu)，該架構(gòu)有效地整合了低分辨率和高分辨率視覺模塊、多模態(tài)投影適配器和高精度定位模塊。這種設(shè)計(jì)使得V-Zen能夠有效處理和整合視覺與文本信息，從而提升了其在GUI理解和定位任務(wù)中的表現(xiàn)。

此外，GUIDE數(shù)據(jù)集的使用為模型提供了豐富的訓(xùn)練資源，使V-Zen能夠從復(fù)雜的工作流程和動作歷史中學(xué)習(xí)，進(jìn)一步增強(qiáng)了其處理實(shí)際GUI元素和任務(wù)序列的能力。

2. 未來工作

盡管V-Zen在多個方面表現(xiàn)出色，但仍有改進(jìn)和擴(kuò)展的空間。未來的工作將集中在以下幾個方面：

• 性能提升：繼續(xù)優(yōu)化V-Zen的架構(gòu)，提高其在各種GUI平臺上的表現(xiàn)，尤其是在更復(fù)雜或未知的GUI環(huán)境中。
• 應(yīng)用擴(kuò)展：將V-Zen應(yīng)用到更廣泛的GUI平臺和實(shí)際復(fù)雜性場景中，驗(yàn)證和提升其泛化能力。
• 數(shù)據(jù)集發(fā)展：擴(kuò)展GUIDE數(shù)據(jù)集，包括更多種類的GUI環(huán)境和任務(wù)類型，以支持模型在更廣泛應(yīng)用中的訓(xùn)練和測試。

通過這些未來的研究工作，我們希望進(jìn)一步推動多模態(tài)大型語言模型在GUI自動化領(lǐng)域的發(fā)展，為實(shí)現(xiàn)更智能、更自動的計(jì)算體驗(yàn)開辟新的可能。

總結(jié)：V-Zen在多模態(tài)大型語言模型中的創(chuàng)新應(yīng)用及其對GUI自動化的貢獻(xiàn)

在人工智能領(lǐng)域的快速發(fā)展中，多模態(tài)大型語言模型（MLLMs）已成為一種變革性的力量，它們能夠跨越不同數(shù)據(jù)表示之間的鴻溝，實(shí)現(xiàn)信息的整合和理解。這些模型擅長從多種模態(tài)（如文本和圖像）中整合信息，顯著擴(kuò)展了研究和實(shí)際應(yīng)用的范圍。在這一領(lǐng)域中，一個關(guān)鍵的研究方向是圖形用戶界面（GUI）任務(wù)的自動化。

1. V-Zen模型的創(chuàng)新設(shè)計(jì)

我們提出的模型V-Zen，不僅僅是一個MLLM，而是一個高級的GUI代理，能夠準(zhǔn)確處理圖像-文本輸入，解釋自然語言指令，精確識別GUI元素，并在網(wǎng)站上執(zhí)行動作以完成用戶定義的目標(biāo)。V-Zen集成了一個視覺接地模塊，該模塊利用DINO檢測器的能力，有效地處理多模態(tài)接地任務(wù)。此外，該模型的性能通過高交叉分辨率模塊（HRCM）進(jìn)一步增強(qiáng)，該模塊使模型能夠處理高分辨率特征并理解圖像中的文本。

2. GUIDE數(shù)據(jù)集的開發(fā)

為了推動基于代理的研究，我們還創(chuàng)建了一個名為GUIDE（Graphical User Interface Data for Execution）的數(shù)據(jù)集，這是一個前沿的基準(zhǔn)數(shù)據(jù)集，包括跨各種GUI平臺收集的邊界框注釋和帶有思維鏈的文本描述。GUIDE數(shù)據(jù)集在提高模型性能方面發(fā)揮了關(guān)鍵作用，使V-Zen能夠在執(zhí)行多樣化GUI平臺上的任務(wù)時表現(xiàn)出色。

3. 實(shí)際應(yīng)用和未來的研究方向

V-Zen在GUI自動化領(lǐng)域的應(yīng)用展示了MLLMs在實(shí)際操作中的巨大潛力。通過精確地識別和與GUI元素交互，V-Zen不僅增強(qiáng)了這些代理的功能，還顯著提高了它們在現(xiàn)實(shí)世界應(yīng)用中的實(shí)用性。我們的研究目標(biāo)是通過開發(fā)能夠有效導(dǎo)航、理解和與GUI元素高精度交互的多模態(tài)大型語言模型，推動多模態(tài)代理基于GUI任務(wù)自動化的邊界。

總之，V-Zen的引入標(biāo)志著在多模態(tài)大型語言模型及其在GUI自動化中應(yīng)用的一個重要進(jìn)步。通過其創(chuàng)新的架構(gòu)和強(qiáng)大的功能，V-Zen為未來的研究和開發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)，展望未來，我們預(yù)計(jì)將進(jìn)一步提升V-Zen的性能，并擴(kuò)展其適用于更廣泛的GUI平臺。

本文轉(zhuǎn)載自 ??AI論文解讀??，作者：柏企