譯者 | 布加迪

審校 | 重樓

一、基礎(chǔ)模型的定義

基礎(chǔ)模型是立足于大量數(shù)據(jù)上的預(yù)訓練機器學習模型。這是人工智能（AI）領(lǐng)域的突破性進展。由于能夠從大量數(shù)據(jù)中學習并適應(yīng)各種任務(wù)，因此基礎(chǔ)模型充當了各種AI應(yīng)用的基石。這些模型是拿龐大的數(shù)據(jù)集預(yù)先訓練的，經(jīng)過微調(diào)后可以執(zhí)行特定的任務(wù)，從而使它們具有用途廣、效率高的優(yōu)點。

典型的基礎(chǔ)模型包括用于自然語言處理的GPT-3和用于計算機視覺的CLIP。我們在這篇文章中將探討基礎(chǔ)模型是什么、它們?nèi)绾喂ぷ?/span>以及它們對不斷發(fā)展的AI領(lǐng)域的影響。

二、基礎(chǔ)模型如何工作？

GPT-4之類的基礎(chǔ)模型的工作原理是，拿龐大的數(shù)據(jù)資料庫預(yù)訓練一個大型的神經(jīng)網(wǎng)絡(luò)，然后針對特定任務(wù)對模型進行微調(diào)，使它們能夠用針對特定任務(wù)的少量訓練數(shù)據(jù)執(zhí)行廣泛的語言任務(wù)。

預(yù)訓練和微調(diào)

• 拿大規(guī)模無監(jiān)督數(shù)據(jù)進行預(yù)訓練：基礎(chǔ)模型一開始從大量無監(jiān)督數(shù)據(jù)中學習，比如來自互聯(lián)網(wǎng)的文本或一大堆圖像。這個預(yù)訓練階段使模型能夠掌握數(shù)據(jù)中的底層結(jié)構(gòu)、模式以及關(guān)系，幫助它們構(gòu)建強大的知識庫。
• 拿針對特定任務(wù)的標記數(shù)據(jù)進行微調(diào)：在預(yù)訓練之后，使用針對特定任務(wù)（比如情感分析或?qū)ο髾z測）定制的更小標記數(shù)據(jù)集對基礎(chǔ)模型進行微調(diào)。這個微調(diào)過程允許模型磨練技能，并針對目標任務(wù)提供高性能。

遷移學習和零樣本學習能力

基礎(chǔ)模型在遷移學習方面表現(xiàn)出色，這是指它們能夠將從一個任務(wù)中獲得的知識運用到新的相關(guān)任務(wù)。一些模型甚至展示出零樣本學習能力，這意味著它們可以在未經(jīng)任何微調(diào)的情況下處理任務(wù)，完全依賴在預(yù)訓練期間獲得的知識。

模型架構(gòu)和技術(shù)

• NLP中的Transformer（比如GPT-3和BERT）：Transformer通過其創(chuàng)新的架構(gòu)徹底改變了自然語言處理（NLP），這種架構(gòu)允許高效靈活地處理語言數(shù)據(jù)。典型的NLP基礎(chǔ)模型包括GPT-3（擅長生成連貫一致的文本）和BERT（在處理各種語言理解任務(wù)時表現(xiàn)出色）。
• 視覺Transformer和多模態(tài)模型（比如CLIP和DALL-E）：在計算機視覺領(lǐng)域，視覺Transformer已經(jīng)成為處理圖像數(shù)據(jù)的一種高效方法。CLIP是一種典型的多模態(tài)基礎(chǔ)模型，它能夠理解圖像和文本。另一種多模態(tài)模型DALL-E展示了從文本描述生成圖像的能力，表明了基礎(chǔ)模型結(jié)合NLP和計算機視覺技術(shù)的潛力。

三、基礎(chǔ)模型的應(yīng)用

自然語言處理

• 情感分析：事實已證明，基礎(chǔ)模型可以高效處理情感分析任務(wù)。它們基于情感對文本進行分類，比如積極的、消極的或中立的情感。該功能已被廣泛應(yīng)用于社交媒體監(jiān)控、客戶反饋分析和市場研究等領(lǐng)域。
• 文本摘要：這些模型還可以生成長篇文檔或文章的簡明摘要，使用戶更容易快速掌握要點。文本摘要應(yīng)用廣泛，包括新聞聚合、內(nèi)容管理和研究協(xié)助。

計算機視覺

• 對象檢測：基礎(chǔ)模型擅長識別和定位圖像中的對象。這種能力在自動駕駛汽車、安全和監(jiān)控系統(tǒng)以及機器人等應(yīng)用領(lǐng)域尤其有價值，精確的實時對象檢測在這類應(yīng)用領(lǐng)域至關(guān)重要。
• 圖像分類：另一種常見的應(yīng)用是圖像分類，即基礎(chǔ)模型根據(jù)內(nèi)容對圖像進行分類。該功能已應(yīng)用于各種領(lǐng)域，從組織龐大的照片庫到使用醫(yī)學成像數(shù)據(jù)診斷疾病，不一而足。

多模態(tài)任務(wù)

• 圖像字幕：通過對文本和圖像的理解，多模態(tài)基礎(chǔ)模型可以為圖像生成描述性字幕。圖像字幕在面向視障用戶、內(nèi)容管理系統(tǒng)和教學材料的可訪問性工具中具有潛在的用途。
• 視覺問題回答：基礎(chǔ)模型還可以處理視覺問題回答任務(wù)，其中它們提供關(guān)于圖像內(nèi)容的問題的答案。這種能力為客戶支持、交互式學習環(huán)境和智能搜索引擎等應(yīng)用帶來了新的可能性。

未來展望及發(fā)展

• 模型壓縮和效率方面的進展：隨著基礎(chǔ)模型變得越來越龐大、越來越復(fù)雜，研究人員在探索壓縮和優(yōu)化模型的方法，以便能夠部署在資源有限的設(shè)備上，并減少能耗。
• 解決偏誤和公平問題的改良版技術(shù)：解決基礎(chǔ)模型中的偏誤對于確保公平、道德的AI應(yīng)用至關(guān)重要。未來研究可能會側(cè)重于研發(fā)識別、測量和減少訓練數(shù)據(jù)和模型行為中偏誤的方法。
• 開源基礎(chǔ)模型的協(xié)作努力：AI社區(qū)越來越多地加強合作，以創(chuàng)建開源基礎(chǔ)模型，促進協(xié)作、知識共享和廣泛獲取尖端AI技術(shù)。

四、結(jié)論

基礎(chǔ)模型是AI領(lǐng)域的重大進步，它帶來了能夠運用于各個領(lǐng)域的多用途高性能模型，比如NLP、計算機視覺和多模態(tài)任務(wù)。

隨著基礎(chǔ)模型不斷發(fā)展，它們可能會重塑AI研究，并推動眾多領(lǐng)域的創(chuàng)新。它們在支持新應(yīng)用和解決復(fù)雜問題方面大有潛力，未來AI會越來越融入到我們的生活當中。

原文標題：What Are Foundation Models and How Do They Work?，作者：Saturn Cloud