300億參數(shù)！蘋果推出多模態(tài)大模型MM1，能解釋圖像和文本數(shù)據(jù)
在過去的一年里，LLM 因其先進(jìn)的 AI 能力而備受關(guān)注。值得注意的是，蘋果（Apple）公司卻缺席了。
目前，蘋果公司正在談判將谷歌的 Gemini 人工智能引擎植入 iPhone。而蘋果一直致力于開發(fā)下一代 LLM，一種可以解釋圖像和文本數(shù)據(jù)的 LLM。
近日，蘋果的計算機科學(xué)家和工程師團隊開發(fā)了一種 LLM 模型，聲稱該模型可以解釋圖像和數(shù)據(jù)。
蘋果構(gòu)建了一個多模態(tài)模型系列——MM1，包括高達(dá) 30B 的 dense 變體和高達(dá) 64B 的專家混合 (MoE) 變體，它們在預(yù)訓(xùn)練指標(biāo)中是 SOTA，并在對一系列已建立的多模態(tài)基準(zhǔn)進(jìn)行監(jiān)督微調(diào)后獲得具有競爭力的性能。
該研究以《MM1：多模態(tài) LLM 預(yù)訓(xùn)練的方法、分析和見解》（MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training）為題，發(fā)表在 arXiv 預(yù)印上，描述了他們新的 MM1 系列多模態(tài)模型和測試結(jié)果。
論文鏈接：https://arxiv.org/abs/2403.09611
多模態(tài) AI 的工作原理是集成和處理不同類型的數(shù)據(jù)輸入，例如視覺、聽覺和文本信息。這種集成使人工智能能夠更全面地理解復(fù)雜數(shù)據(jù)，從而比單模態(tài)人工智能系統(tǒng)做出更準(zhǔn)確和上下文感知的解釋。
蘋果的研究團隊聲稱，他們在 MM1 模型中使用多模態(tài) AI 方面取得了重大進(jìn)展，該模型集成了文本和圖像數(shù)據(jù)，以提高圖像字幕、視覺問答和查詢學(xué)習(xí)的能力。他們的 MM1 是他們所描述的多模態(tài)模型系列的一部分，每個模型都包含多達(dá) 300 億個參數(shù)。
圖 1：在 MLLM 基準(zhǔn)測試中與 SOTA 模型的比較。
圖 2：MM1 憑借其大規(guī)模多模態(tài)預(yù)訓(xùn)練可以執(zhí)行上下文預(yù)測。
研究人員指出，此類模型利用由圖像捕獲對、包含圖像和純文本文檔的文檔組成的數(shù)據(jù)集。
研究人員進(jìn)一步聲稱，他們的多模態(tài) LLM (MLLM) 可以計算對象、識別圖像中的對象，并利用日常對象的常識為用戶提供有關(guān)圖像所呈現(xiàn)內(nèi)容的有用信息。
圖 3：MM1 可以跨圖像執(zhí)行指令和推理。
研究人員還聲稱，他們的 MLLM 能夠進(jìn)行情境學(xué)習(xí)，這意味著它不需要每次提出問題時都重新開始；它使用在當(dāng)前對話中學(xué)到的知識。
圖 4：研究了圖像分辨率和預(yù)訓(xùn)練對監(jiān)督微調(diào)（SFT）性能的影響。
該團隊提供了模型高級功能的示例，其中包括上傳一群朋友在酒吧拿著菜單的圖像，并詢問模型根據(jù)菜單中列出的價格為每個人購買一杯啤酒需要多少錢。
研究人員表示，“我們希望所確定的經(jīng)驗教訓(xùn)將幫助社區(qū)構(gòu)建超越任何單一特定模型架構(gòu)或數(shù)據(jù)策略的強大模型?！?/p>
本文轉(zhuǎn)載自 ??AI超數(shù)據(jù)??，作者： AI 前沿 ????
