多模態(tài)大模型數(shù)據(jù)構(gòu)造方法 原創(chuàng)
?本文將以LLaVA和MiniGPT-4為例介紹多模態(tài)大模型數(shù)據(jù)構(gòu)造的方式。
數(shù)據(jù)質(zhì)量是決定多模態(tài)模型性能的關(guān)鍵因素。高質(zhì)量的數(shù)據(jù)能夠減少噪聲干擾，提高模型的學(xué)習(xí)和預(yù)測準(zhǔn)確性。同時多模態(tài)數(shù)據(jù)的多樣性直接影響模型的泛化能力。一個包含豐富多樣數(shù)據(jù)的集合能夠訓(xùn)練出更加健壯的模型，使其能夠在不同的應(yīng)用場景中表現(xiàn)良好。
本文以LLaVA和MiniGPT-4為例，介紹相關(guān)多模態(tài)數(shù)據(jù)的構(gòu)造過程，給大家在訓(xùn)練或者微調(diào)自己的多模態(tài)模型提供思路。
LLava數(shù)據(jù)構(gòu)造
LLaVA利用圖文對創(chuàng)建了兩個數(shù)據(jù)集：簡單的對話數(shù)據(jù)集(低質(zhì)量，數(shù)據(jù)量大，標(biāo)注成本低)，復(fù)雜的對話數(shù)據(jù)集(高質(zhì)量，數(shù)據(jù)量小，標(biāo)注成本高)。
- 簡單的圖文對對話數(shù)據(jù)。首先利用已有的圖文對數(shù)據(jù)集（圖片+對應(yīng)描述caption），然后利用ChatGPT生成不同的提問方式（描述該圖），并將caption作為問題的答案：
"Describe the image concisely."
"Provide a brief description of the given image."
"Offer a succinct explanation of the picture presented."
"Summarize the visual content of the image."
"Give a short and clear explanation of the subsequent image."
"Share a concise interpretation of the image provided."
"Present a compact description of the photo’s key features."
"Relay a brief, clear account of the picture shown."
"Render a clear and concise summary of the photo."
"Write a terse but informative summary of the picture."
"Create a compact narrative representing the image presented."- 更復(fù)雜的圖文對對話數(shù)據(jù)。為了生成多輪對話數(shù)據(jù)并提高訓(xùn)練數(shù)據(jù)的多樣性。為了使用ChatGPT成帶圖片的多輪對話數(shù)據(jù)，作者使用目標(biāo)檢測將圖片變成ChatGPT可以讀懂的圖片描述，如下圖所示，更定更加精確的坐標(biāo)信息等：
MiniGPT-4數(shù)據(jù)構(gòu)造
MiniGPT-4細(xì)致構(gòu)建了一個專為對齊任務(wù)設(shè)計的優(yōu)質(zhì)圖像與文本數(shù)據(jù)集，以微調(diào)MiniGPT-4模型。在第一階段，圖像與文本的初始對齊是通過使用第一個預(yù)訓(xùn)練階段得到的模型來完成的，該模型能夠為給定的圖像生成詳盡的描述。
首先設(shè)置了一個通用的問答對話模版：
###Human: <Img><ImageFeature></Img> Describe this image in detail. Give as many details as possible. Say everything you see. ###Assistant:其中，<ImageFeature>是指由線性投影層產(chǎn)生的視覺特征。為了識別不完整的句子，檢查生成的句子是否超過80個tokens。如果沒有，會添加一個額外的提示：
###Human: Continue ###Assistant:此外，由于生成的圖像描述中存在諸多問題，如噪聲較多、錯誤頻出（包括單詞或句子的重復(fù)）以及陳述不連貫等，為了解決這些問題，我們采用了ChatGPT，并借助特定的提示來優(yōu)化和完善這些描述。
修正給定段落中的錯誤。刪除任何重復(fù)的句子、無意義的字符、非英語句子等等。刪除不必要的重復(fù)。重寫任何不完整的句子。直接返回結(jié)果，無需解釋。如果輸入的段落已經(jīng)正確，則直接返回該段落，無需解釋。
Fix the error in the given paragraph. Remove any repeating sentences, meaningless characters, not English sentences, and so on. Remove unnecessary repetition. Rewrite any incomplete sentences. Return directly the results without explanation. Return directly the input paragraph if it is already correct without explanation.在上述后處理步驟完成后，要對每張圖像的描述進(jìn)行細(xì)致人工審核，以確保其達(dá)到高標(biāo)準(zhǔn)的質(zhì)量。具體而言，逐個檢查生成的圖像描述是否符合預(yù)期的格式，并對ChatGPT未能識別的冗余詞匯或句子進(jìn)行了手動編輯和潤色，即可用來進(jìn)行第一階段的訓(xùn)練。
在第二階段微調(diào)時，使用以下模板中預(yù)定義的提示：
###Human: <Img><ImageFeature></Img> <Instruction> ###Assistant:在此提示中，<Instruction>表示從預(yù)定義的指令集中隨機采樣的指令，其中包含各種形式的指令，如“詳細(xì)描述此圖像”或“您能為我描述此圖像的內(nèi)容嗎”。
?
文轉(zhuǎn)載自公眾號瓦力算法學(xué)研所，作者：喜歡瓦力的卷卷
