哈嘍各位 AI 圈的老鐵們，最近有個消息簡直炸裂！我們的“牙膏廠”蘋果，竟然也悄悄地在端側(cè) AI 領(lǐng)域扔下了一顆重磅炸彈——FastVLM！

這可不是什么云里霧里的概念，而是個實(shí)打?qū)崱⒛苤苯釉谖覀兪掷锏?iPhone、iPad、Mac 上跑起來的視覺語言模型（VLM）。而且，它的名字里帶著個大寫的“Fast”，那速度，真的是快到讓你驚掉下巴！

FastVLM 是啥？簡單來說，它讓你的設(shè)備有了“眼睛”和“嘴巴”

想象一下，你拍了張照片，或者屏幕上有一張圖，你想問它點(diǎn)啥，或者讓它描述一下。傳統(tǒng)的路子，可能得把圖傳到云端服務(wù)器，那里有強(qiáng)大但遙遠(yuǎn)的 AI 模型處理，再把結(jié)果傳回來。這中間嘛，有延遲、有隱私問題，還可能得聯(lián)網(wǎng)。

蘋果 FastVLM 就不一樣了。它的核心工作流程非常直接且高效：

1. 先看懂圖（圖像 → token）： 它用一套特別厲害的技術(shù)（后面會講）飛快地把圖像“消化”一遍，然后轉(zhuǎn)化成一堆它能理解的、高度濃縮的信息塊，我們叫它“視覺 token”。你可以理解成是給圖片做的“速記筆記”。
2. 再生成話（token → 語言）： 拿到這些“筆記”后，它再交給設(shè)備上的語言模型，語言模型根據(jù)這些筆記和你的問題，嗖嗖嗖地生成回答或描述。

整個過程，全程在你的設(shè)備本地完成！不上傳云端，又快又安全。

為啥叫“FastVLM”？因?yàn)樗氖?token 輸出快到離譜！

這絕對是 FastVLM 最亮眼的招牌！蘋果在性能對比中放出的數(shù)據(jù)，簡直讓人難以置信：

• 對比同等規(guī)模的LLaVA-OneVision-0.5B模型，F(xiàn)astVLM-0.5B 的首個 token 輸出速度竟然快了整整 85 倍！ 85 倍?。∵@是什么概念？就是你問它問題，它幾乎能瞬間給出第一個字的反應(yīng)，后續(xù)文字也源源不斷跟上。這對于實(shí)時交互體驗(yàn)來說，簡直是革命性的。
• 即使是更大的 FastVLM-7B 模型（基于強(qiáng)大的 Qwen2-7B 語言模型），對比同類模型 Cambrian-1-8B，首 token 速度也快了 7.9 倍。

為什么能這么快？秘密藏在它全新的視覺編碼器 FastViTHD 里。傳統(tǒng)的模型處理圖像，尤其是高分辨率圖像時，生成的視覺 token 數(shù)量巨大，給后續(xù)的語言模型造成很大負(fù)擔(dān)。FastViTHD 就聰明多了，它能在保證不丟失關(guān)鍵信息的前提下，生成數(shù)量更少但信息更豐富的視覺 token（比如從1536個壓縮到576個），大大減輕了語言模型的計算壓力。而且，這個編碼器本身也非常高效，體積比之前的小了 3.4 倍！

更厲害的是，它是針對蘋果自己的 A18、M2 等芯片做了深度優(yōu)化，支持 FP16 和 INT8 量化，能最大限度地利用蘋果硬件的算力，同時還省電（據(jù)說連續(xù)運(yùn)行功耗相當(dāng)于看視頻的水平）。

小巧玲瓏，輕松跑在你的 iPhone 上

除了快，F(xiàn)astVLM 的另一個核心優(yōu)勢就是小！它被設(shè)計得非常緊湊，配合蘋果的 MLX 框架和 CoreML 工具鏈，可以非常輕松地部署在 iPhone、iPad、Mac 上。

這意味著，未來的 iPhone 不僅性能強(qiáng)勁，還能直接在本地完成復(fù)雜的視覺理解和語言交互任務(wù)。無論是實(shí)時 AR 應(yīng)用中的環(huán)境理解，還是輔助功能里的圖像描述，亦或是更智能的照片搜索和編輯，都能獲得前所未有的流暢體驗(yàn)。想象一下在 iPad Pro M2 上實(shí)現(xiàn) 60FPS 的連續(xù)對話體驗(yàn)，是不是已經(jīng)心動了？

而且，本地運(yùn)行帶來的隱私保護(hù)也是云端方案無法比擬的。你的照片和數(shù)據(jù)，就安全地待在你的設(shè)備里。

不止是“看圖說話”，它還能干啥？

別以為 FastVLM 只能簡單地描述圖片。它是一個真正的視覺語言模型，能力覆蓋很廣：

• 實(shí)時問答： 針對圖片內(nèi)容回答各種問題。
• 文檔解析： 閱讀圖片中的復(fù)雜文檔或表格（在 DocVQA 任務(wù)上性能提升顯著）。
• 文字識別與理解： 識別圖片中的文字，并理解其含義（TextVQA 任務(wù)表現(xiàn)出色）。
• 更高級的推理： 在多模態(tài)理解任務(wù)（如 MMMU、SeedBench）上也能保持出色性能。

更具體的應(yīng)用場景，就像源信息里提到的：醫(yī)療影像輔助分析（肺結(jié)節(jié)檢測準(zhǔn)確率達(dá) 93.7%），工業(yè)質(zhì)檢（智能手機(jī)生產(chǎn)線缺陷檢測誤報率大幅降低），甚至未來集成到 Xcode 幫助寫代碼，或者讓 Messages 應(yīng)用里的表情包更智能，都充滿了想象空間！

開源！蘋果正在構(gòu)建自己的 AI 生態(tài)

值得一提的是，蘋果這次非常開放，F(xiàn)astVLM 的代碼和模型已經(jīng)在 GitHub 和 Hugging Face 上開源了！這基于 LLaVA 代碼庫訓(xùn)練，并提供了詳細(xì)的指南。

這意味著開發(fā)者可以基于 FastVLM 在蘋果設(shè)備上構(gòu)建各種各樣的 AI 應(yīng)用，充分利用蘋果強(qiáng)大的硬件能力和蘋果提供的開發(fā)工具。這無疑會極大地推動蘋果生態(tài)內(nèi) AI 應(yīng)用的創(chuàng)新和普及。

總結(jié)：移動端 AI 的新里程碑

FastVLM 的發(fā)布，不只是蘋果秀肌肉那么簡單，它真正地重新定義了移動設(shè)備上多模態(tài) AI 的可能性邊界。

通過極速的視覺編碼（FastViTHD）、對蘋果硬件的深度協(xié)同優(yōu)化、小巧的模型體積以及開放的開源策略，蘋果不僅解決了端側(cè)部署的“慢”和“大”的痛點(diǎn)，還為用戶提供了更流暢、更私密、更強(qiáng)大的 AI 體驗(yàn)。

它證明了在消費(fèi)級設(shè)備上實(shí)現(xiàn)高性能的實(shí)時視覺語言交互是可行的，并且已經(jīng)成為現(xiàn)實(shí)。FastVLM 有望成為未來蘋果設(shè)備上諸多智能化功能的基石，讓我們的 iPhone、iPad 不再只是工具，而是更加智能、更能理解我們世界的伙伴。

對于我們 AI 圈的開發(fā)者來說，這無疑是一個令人興奮的消息。蘋果已經(jīng)搭好了舞臺，提供了利器，接下來就看大家能用 FastVLM 創(chuàng)造出什么精彩的應(yīng)用了！

本文轉(zhuǎn)載自???墨風(fēng)如雪小站???，作者：墨風(fēng)如雪