01、概述

我們可能已經(jīng)聽(tīng)說(shuō)了 Deepseek，但你是否也注意到 Ollama 上提到了 Deepseek 的蒸餾模型？或者，如果你嘗試過(guò) Groq Cloud，可能會(huì)看到類(lèi)似的模型。那么，這些“distil”模型到底是什么呢？在這一背景下，“distil”指的是組織發(fā)布的原始模型的蒸餾版本。蒸餾模型本質(zhì)上是較小且更高效的模型，設(shè)計(jì)目的是復(fù)制較大模型的行為，同時(shí)減少資源需求。

這種技術(shù)由 Geoffrey Hinton 在 2015 年的論文“Distilling the Knowledge in a Neural Network”中首次提出，旨在通過(guò)壓縮模型來(lái)保持性能，同時(shí)降低內(nèi)存和計(jì)算需求。Hinton 提出了一個(gè)問(wèn)題：是否可以訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)，然后將其知識(shí)壓縮到一個(gè)較小的網(wǎng)絡(luò)中？在這里，較小的網(wǎng)絡(luò)被視為學(xué)生，而較大的網(wǎng)絡(luò)則扮演教師的角色，目標(biāo)是讓學(xué)生復(fù)制教師學(xué)習(xí)的關(guān)鍵權(quán)重。

02、蒸餾模型的益處

蒸餾模型帶來(lái)了多方面的優(yōu)勢(shì)，包括：

• 減少內(nèi)存占用和計(jì)算需求。
• 降低推理和訓(xùn)練時(shí)的能耗。
• 加快處理速度。

例如，在移動(dòng)和邊緣計(jì)算中，較小的模型尺寸使其非常適合部署在計(jì)算能力有限的設(shè)備上，確保移動(dòng)應(yīng)用和物聯(lián)網(wǎng)設(shè)備中的快速推理。此外，在大規(guī)模部署如云服務(wù)中，降低能耗至關(guān)重要，蒸餾模型有助于減少電力使用。對(duì)于初創(chuàng)公司和研究人員，蒸餾模型提供了性能與資源效率之間的平衡，支持更快的開(kāi)發(fā)周期。

03、蒸餾模型的引入

蒸餾模型的引入過(guò)程旨在保持性能，同時(shí)減少內(nèi)存和計(jì)算需求。這是 Geoffrey Hinton 在 2015 年論文中提出的模型壓縮形式。Hinton 提出了一個(gè)核心問(wèn)題：是否可以訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)，然后將其知識(shí)壓縮到一個(gè)較小的網(wǎng)絡(luò)中？在這一框架下，較小的網(wǎng)絡(luò)（學(xué)生）通過(guò)分析教師的行為和預(yù)測(cè)，學(xué)習(xí)其權(quán)重。訓(xùn)練方法包括最小化學(xué)生輸出與兩種目標(biāo)之間的誤差：實(shí)際的真實(shí)標(biāo)簽（硬目標(biāo)）和教師的預(yù)測(cè)（軟目標(biāo)）。

雙重?fù)p失組件

• 硬損失：這是與真實(shí)標(biāo)簽（地面真相）比較的誤差，通常在標(biāo)準(zhǔn)訓(xùn)練中優(yōu)化，確保模型學(xué)習(xí)正確的輸出。
• 軟損失：這是與教師預(yù)測(cè)比較的誤差。雖然教師可能不完美，但其預(yù)測(cè)包含了輸出類(lèi)別相對(duì)概率的寶貴信息，有助于指導(dǎo)學(xué)生模型實(shí)現(xiàn)更好的泛化。

訓(xùn)練目標(biāo)是最小化這兩者的加權(quán)和，其中軟損失的權(quán)重由參數(shù) λ 控制。即使有人可能認(rèn)為真實(shí)標(biāo)簽已足夠用于訓(xùn)練，加入教師的預(yù)測(cè)（軟損失）實(shí)際上可以加速訓(xùn)練并提升性能，通過(guò)提供細(xì)致的指導(dǎo)信息。

Softmax 函數(shù)與溫度

這一方法的關(guān)鍵部分是修改 Softmax 函數(shù)，通過(guò)引入溫度參數(shù)（T）。標(biāo)準(zhǔn) Softmax 函數(shù)將神經(jīng)網(wǎng)絡(luò)的原始輸出分?jǐn)?shù)（logits）轉(zhuǎn)換為概率。當(dāng) T=1 時(shí)，函數(shù)表現(xiàn)為標(biāo)準(zhǔn) Softmax；當(dāng) T>1 時(shí)，指數(shù)變得不那么極端，產(chǎn)生更“軟”的概率分布，揭示每個(gè)類(lèi)別的相對(duì)可能性更多信息。為了糾正這一效應(yīng)并保持從軟目標(biāo)的有效學(xué)習(xí)，軟損失乘以 T^2，更新后的總體損失函數(shù)確保硬損失（來(lái)自實(shí)際標(biāo)簽）和溫度調(diào)整后的軟損失（來(lái)自教師預(yù)測(cè)）適當(dāng)?shù)刎暙I(xiàn)于學(xué)生模型的訓(xùn)練。

具體實(shí)例：DistilBERT 和 DistillGPT2

• DistilBERT：基于 Hinton 的蒸餾方法，添加了余弦嵌入損失來(lái)測(cè)量學(xué)生和教師嵌入向量之間的距離。DistilBERT 有 6 層、6600 萬(wàn)參數(shù)，而 BERT-base 有 12 層、1.1 億參數(shù)。兩者的重新訓(xùn)練數(shù)據(jù)集相同（英語(yǔ)維基百科和多倫多書(shū)籍語(yǔ)料庫(kù)）。在評(píng)估任務(wù)中：

    GLUE 任務(wù)：BERT-base 平均準(zhǔn)確率為 79.5%，DistilBERT 為 77%。

    SQuAD 數(shù)據(jù)集：BERT-base F1 分?jǐn)?shù)為 88.5%，DistilBERT 約為 86%。

• DistillGPT2：原始 GPT-2 有四個(gè)尺寸，最小版本有 12 層、約 1.17 億參數(shù)（某些報(bào)告稱(chēng) 1.24 億，因?qū)崿F(xiàn)差異）。DistillGPT2 是其蒸餾版本，有 6 層、8200 萬(wàn)參數(shù)，保持相同的嵌入尺寸（768）。盡管 DistillGPT2 的處理速度是 GPT-2 的兩倍，但在大文本數(shù)據(jù)集上的困惑度高 5 點(diǎn)。在 NLP 中，較低的困惑度表示更好的性能，因此最小 GPT-2 仍?xún)?yōu)于其蒸餾版本。你可以在 Hugging Face 上探索該模型。

04、實(shí)現(xiàn)大型語(yǔ)言模型（LLM）蒸餾

實(shí)現(xiàn) LLM 蒸餾涉及多個(gè)步驟和專(zhuān)用框架：

框架和庫(kù)：

• Hugging Face Transformers：提供 Distiller 類(lèi)，簡(jiǎn)化從教師到學(xué)生模型的知識(shí)轉(zhuǎn)移。
• 其他庫(kù)：TensorFlow Model Optimization 提供模型剪枝、量化和蒸餾工具；PyTorch Distiller 包含使用蒸餾技術(shù)壓縮模型的實(shí)用程序；DeepSpeed（由微軟開(kāi)發(fā)）包括模型訓(xùn)練和蒸餾功能。

涉及的步驟：

1. 數(shù)據(jù)準(zhǔn)備：準(zhǔn)備代表目標(biāo)任務(wù)的數(shù)據(jù)集，數(shù)據(jù)增強(qiáng)技術(shù)可進(jìn)一步增強(qiáng)訓(xùn)練示例的多樣性。
2. 教師模型選擇：選擇表現(xiàn)良好的預(yù)訓(xùn)練教師模型，教師的質(zhì)量直接影響學(xué)生的性能。
3. 蒸餾過(guò)程：初始化學(xué)生模型，配置訓(xùn)練參數(shù)（如學(xué)習(xí)率、批量大?。皇褂媒處熌Ｐ蜕绍浤繕?biāo)（概率分布）以及硬目標(biāo)（真實(shí)標(biāo)簽）；訓(xùn)練學(xué)生模型以最小化其預(yù)測(cè)與軟/硬目標(biāo)之間的組合損失。
4. 評(píng)估指標(biāo)：常用指標(biāo)包括準(zhǔn)確率、推理速度、模型大?。p少）和計(jì)算資源利用效率。

05、理解模型蒸餾

模型蒸餾的核心是訓(xùn)練學(xué)生模型模仿教師的行為，通過(guò)最小化學(xué)生預(yù)測(cè)與教師輸出之間的差異，這是一種監(jiān)督學(xué)習(xí)方法，構(gòu)成了模型蒸餾的基礎(chǔ)。關(guān)鍵組件包括：

• 選擇教師和學(xué)生模型架構(gòu)：學(xué)生模型可以是教師的簡(jiǎn)化或量化版本，也可以是完全不同的優(yōu)化架構(gòu)，具體取決于部署環(huán)境的特定要求。
• 蒸餾過(guò)程解釋?zhuān)和ㄟ^(guò)最小化學(xué)生與教師預(yù)測(cè)之間的差異，學(xué)生學(xué)習(xí)教師的行為，確保在資源受限情況下保持性能。

挑戰(zhàn)與局限性

盡管蒸餾模型提供了明顯益處，但也存在一些挑戰(zhàn)：

• 準(zhǔn)確性權(quán)衡：蒸餾模型通常比其較大對(duì)應(yīng)物略有性能下降。
• 蒸餾過(guò)程的復(fù)雜性：配置正確的訓(xùn)練環(huán)境和微調(diào)超參數(shù)（如 λ 和溫度 T）可能具有挑戰(zhàn)性。
• 領(lǐng)域適應(yīng)：蒸餾的有效性可能因具體領(lǐng)域或任務(wù)而異。

06、未來(lái)方向

模型蒸餾領(lǐng)域快速發(fā)展，一些有前景的領(lǐng)域包括：

• 蒸餾技術(shù)進(jìn)步：正在進(jìn)行的研究旨在縮小教師和學(xué)生模型之間的性能差距。
• 自動(dòng)化蒸餾過(guò)程：新興方法旨在自動(dòng)化超參數(shù)調(diào)整，使蒸餾更易訪問(wèn)和高效。
• 更廣泛的應(yīng)用：除了 NLP，模型蒸餾在計(jì)算機(jī)視覺(jué)、強(qiáng)化學(xué)習(xí)等領(lǐng)域也越來(lái)越受到關(guān)注，可能改變資源受限環(huán)境中的部署。

實(shí)際應(yīng)用

蒸餾模型在各個(gè)行業(yè)中找到實(shí)際應(yīng)用：

• 移動(dòng)和邊緣計(jì)算：較小的尺寸使其理想用于計(jì)算能力有限的設(shè)備，確保移動(dòng)應(yīng)用和物聯(lián)網(wǎng)設(shè)備中的快速推理。
• 能效：在大規(guī)模部署如云服務(wù)中，降低能耗至關(guān)重要，蒸餾模型有助于減少電力使用。
• 快速原型開(kāi)發(fā)：對(duì)于初創(chuàng)公司和研究人員，蒸餾模型提供性能與資源效率之間的平衡，支持更快的開(kāi)發(fā)周期。

07、結(jié)論

蒸餾模型通過(guò)在高性能與計(jì)算效率之間實(shí)現(xiàn)微妙平衡，改變了深度學(xué)習(xí)。盡管由于其較小尺寸和依賴(lài)軟損失訓(xùn)練，可能犧牲一些準(zhǔn)確性，但其快速處理和減少資源需求使其在資源受限設(shè)置中特別有價(jià)值?？傊?，蒸餾網(wǎng)絡(luò)模擬其較大對(duì)應(yīng)物的行為，但由于容量有限，性能永遠(yuǎn)無(wú)法超過(guò)它。這種權(quán)衡使蒸餾模型在計(jì)算資源有限或性能接近原始模型時(shí)成為明智的選擇。相反，如果性能下降顯著或通過(guò)并行化等方法計(jì)算能力充足，選擇原始較大模型可能更好。

本文轉(zhuǎn)載自公眾號(hào)Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/St50U8ZPrvzfW1X8DI0b9g??