整理 | 星璇

不走尋常路的面壁智能，又一次“掀桌子”了！

面壁昨天發(fā)布了第三代小鋼炮MiniCPM3.0，參數(shù)只有4B，性能卻足以叫板市面上千億參數(shù)規(guī)模的大模型！端側的“面壁定律”又一次發(fā)威了！

圖片

話不多說，直接上干貨。

1.綜合能力：4B規(guī)模干翻GPT-3.5

提前近 4 個月，面壁智能實現(xiàn)了初代面壁小鋼炮發(fā)布時立下的 Flag：今年內(nèi)讓 GPT-3.5 水平的模型在端側跑起來！

圖片

MiniCPM 3.0 再次挖掘端側模型的極致性能，僅 4B 參數(shù)，在包括知識水平、數(shù)學邏輯、代碼能力、指令遵循、工具調(diào)用等多項能力上對 GPT-3.5 實現(xiàn)趕超，Overall Acc（所有分類任務的準確率平局值）超過了Llama3.1-8B-instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat、Phi-3.5，可謂一匹黑馬。

2.小鋼炮挑戰(zhàn)無限長文本

小鋼炮3.0采用了一種LLMxMapReduce長文本分幀處理的技術，通過將長上下文切分為多個片段，讓模型并行處理，并從不同片段中提取關鍵信息，匯總最終答案，實現(xiàn)無限長文本。這一技術對模型長文本能力，具有普遍增強作用，且在文本不斷加長情況，仍保持穩(wěn)定性能、減少長文本隨加長掉分情況。

LLMxMapReduce 技術框架圖

更長的上下文長度，意味大模型擁有更大的“內(nèi)存”和更長的“記憶”，不僅能提高大模型處理數(shù)據(jù)的能力上限，還能拓寬大模型應用的廣度和深度。

長上下文：小模型也可以無限長文本

而小鋼炮這種無限上下文技術， 可以讓模型一次性讀取不限字數(shù)的書籍或不限量的學術論文、簡歷等材料，成為你身邊更加強大的終端個人助手。

這也就意味著，搭載小鋼炮的手機，AI能力將會得到真正的釋放，比如讀取你的大眾點評美食、酒店評價、微博互動內(nèi)容，并牢牢記住你和AI 跨越多年的聊天記錄，成為最懂你的AI陪伴者，為你提供“共情”的推薦與內(nèi)容。

3.超強 RAG 外掛三件套，中文檢索第一、生成超 Llama3-8B

現(xiàn)在RAG已經(jīng)成為AI原生應用開發(fā)的標配，讓模型引用外部知識庫，檢索到最新、最可靠的專業(yè)知識，確保生成內(nèi)容更加可信，大大減少大模型的幻覺問題，尤其是對法律、醫(yī)療等依賴專業(yè)知識庫、對大模型幻覺容忍度極低的垂直行業(yè)。

在檢索、重排、生成這三個重要的RAG環(huán)節(jié)，面壁這次一口氣把三件套全都放了出來：MiniCPM-Embedding（檢索模型）、MiniCPM-Reranker（重排序模型）和面向 RAG 場景的 LoRA 插件（生成模型）。

• MiniCPM-Embedding（檢索模型）中英跨語言檢索取得 SOTA 性能，在評估模型文本嵌入能力的權威評測集 MTEB 的檢索榜單上中文第一、英文第十三 ；
• MiniCPM-Reranker（重排序模型）在中文、英文、中英跨語言測試上取得 SOTA 性能 ；
• 經(jīng)過針對 RAG 場景的 LoRA 訓練后，MiniCPM 3.0-RAG-LoRA 在開放域問答（NQ、TQA、MARCO）、多跳問答（HotpotQA）、對話（WoW）、事實核查（FEVER）和信息填充（T-REx）等多項任務上的性能表現(xiàn)，超越 Llama3-8B 和 Baichuan2-13B 等業(yè)內(nèi)優(yōu)秀模型。

圖片

4.端側智能體：GPT-4o 級 Function calling

智能體應用是端側AI 必爭之地，而這其中一項至關重要的技術是 Function Calling（函數(shù)調(diào)用），它能夠將用戶模糊化的輸入語義轉換為機器可以精確理解執(zhí)行的結構化指令，并讓大模型連接外部工具和系統(tǒng)，例如通過語音在手機上調(diào)用日歷、天氣、郵件、瀏覽器等 APP 或相冊、文件等本地數(shù)據(jù)庫，從而打開終端設備 Agent 應用的無限可能，也讓人機交互更加自然和方便。

小鋼炮 3.0 這次發(fā)布的數(shù)據(jù)來看，堪比具備端側最強 Function calling 性能 ，在權威評測榜單 Berkeley Function-Calling Leaderboard 上，其性能接近 GPT-4o，并超越 Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等眾多模型。

圖片

最后，上地址。MiniCPM 3.0 開源地址：

GitHub: https://github.com/OpenBMB/MiniCPM

HuggingFace: ??https://huggingface.co/openbmb/MiniCPM3-4B??

本文轉載自??51CTO技術棧??，作者：星璇