模型架構(gòu)

Dense 模型結(jié)構(gòu)改進(jìn)：

• GQA、SwiGLU、RoPE、RMSNorm with pre-normalization與Qwen2.5 相似。
• 移除了 Qwen2 中的 移除QKV偏置，減少模型復(fù)雜性，在注意力機(jī)制中引入 QK-Norm 來確保穩(wěn)定訓(xùn)練。

MoE 模型結(jié)構(gòu)改進(jìn)：

Qwen3 模型使用 Qwen 的 tokenizer，byte-level BPE，詞表大小 151669

預(yù)訓(xùn)練

預(yù)訓(xùn)練數(shù)據(jù)

預(yù)訓(xùn)練數(shù)據(jù)情況：

• 36萬億個(gè)token，是Qwen2.5的兩倍
• 包括多種語言和方言，總共支持119種語言，而Qwen2.5僅支持29種
• 包括高質(zhì)量的文本，涵蓋編程、STEM（科學(xué)、技術(shù)、工程和數(shù)學(xué)）、推理任務(wù)、書籍、多語言文本和合成數(shù)據(jù)等領(lǐng)域

數(shù)據(jù)收集方法：

• 使用Qwen2.5-VL模型對(duì)大量PDF文檔進(jìn)行文本識(shí)別，并通過Qwen2.5模型進(jìn)行質(zhì)量提升。
• 利用Qwen2.5、Qwen2.5-Math和Qwen2.5-Coder模型生成合成的文本數(shù)據(jù)，涵蓋教科書、問答、指令和代碼片段等格式。

此外，開發(fā)了一個(gè)多語言數(shù)據(jù)注釋系統(tǒng)，標(biāo)注超過30萬億個(gè)token，涵蓋教育價(jià)值、領(lǐng)域、安全和多語言等方面。通過詳細(xì)的注釋支持更有效的數(shù)據(jù)過濾和組合。

不同于之前在數(shù)據(jù)源或 domain 層面的優(yōu)化數(shù)據(jù)組合的工作，通過帶有細(xì)粒度標(biāo)簽的小模型上廣泛的消融實(shí)驗(yàn)，在 instance-level 上對(duì)數(shù)據(jù)組合進(jìn)行優(yōu)化。

預(yù)訓(xùn)練階段

qwen3經(jīng)過 3 個(gè)階段的預(yù)訓(xùn)練： Qwen3的預(yù)訓(xùn)練分為三個(gè)階段，每個(gè)階段都有其特定的目標(biāo)和策略：

1. 通用階段（General Stage, S1）：建立廣泛的語言知識(shí)和一般世界知識(shí)。使用超過30萬億個(gè)token，覆蓋119種語言和方言。序列長(zhǎng)度：4096。模型在語言熟練度和一般知識(shí)方面得到充分預(yù)訓(xùn)練。
2. 推理階段（Reasoning Stage, S2）：提高在科學(xué)、技術(shù)、工程、數(shù)學(xué)（STEM）和編碼等領(lǐng)域的推理能力。增加STEM、編碼、推理和合成數(shù)據(jù)的比例。序列長(zhǎng)度：4096。加速學(xué)習(xí)率衰減，優(yōu)化預(yù)訓(xùn)練語料庫以提高推理能力。
3. 長(zhǎng)上下文階段（Long Context Stage）：擴(kuò)展模型的最大上下文長(zhǎng)度。收集高質(zhì)量的上下文數(shù)據(jù)，將上下文長(zhǎng)度從4,096擴(kuò)展到32,768個(gè)token。序列長(zhǎng)度：32768。使用ABF技術(shù)增加RoPE的基礎(chǔ)頻率，引入YARN和Dual Chunk Attention以實(shí)現(xiàn)更長(zhǎng)的上下文處理能力。

后訓(xùn)練

后訓(xùn)練的兩個(gè)核心目標(biāo)：

• 思考控制（Thinking Control））：整合“非思考”和“思考”兩種模式，允許用戶選擇是否讓模型進(jìn)行推理。用戶可以通過指定思考token的預(yù)算來控制思考過程的深度。
• 強(qiáng)到弱蒸餾（Strong-to-Weak Distillation）：優(yōu)化輕量級(jí)模型，通過從大型模型中提取知識(shí)來減少計(jì)算成本和開發(fā)工作量。包括離線蒸餾和在線蒸餾兩個(gè)階段，賦予輕量級(jí)模型基本的推理技能和模式切換能力。

后訓(xùn)練pipline：

1. 長(zhǎng)CoT冷啟動(dòng)

Long-CoT Cold Start目的是通過高質(zhì)量數(shù)據(jù)集和精簡(jiǎn)訓(xùn)練流程，讓模型初步掌握CoT推理能力。

數(shù)據(jù)集構(gòu)建：

(1) Query 過濾（篩選高質(zhì)量問題）? 移除低質(zhì)量 query：使用 Qwen2.5-72B-Instruct 識(shí)別并剔除：不易驗(yàn)證的 query（如含多個(gè)子問題、普通文本生成類問題）。 Qwen2.5-72B-Instruct 可直接回答的 query（無需 CoT 推理）。領(lǐng)域平衡：對(duì) query 進(jìn)行標(biāo)注，確保數(shù)據(jù)集覆蓋多個(gè)領(lǐng)域，避免偏差。

(2) Response 過濾（篩選高質(zhì)量答案）

• 初步篩選：保留一個(gè)驗(yàn)證 query 集，用 QwQ-32B 生成 N 個(gè)候選 response。
• 人工評(píng)估：當(dāng) QwQ-32B 無法正確回答時(shí)，人工檢查 response 的準(zhǔn)確性，并過濾掉：

1. 錯(cuò)誤答案（最終結(jié)果錯(cuò)誤）。
2. 大量重復(fù)內(nèi)容。
3. 無充分推理的猜測(cè)。
4. 思考內(nèi)容與總結(jié)內(nèi)容表現(xiàn)不一致（邏輯矛盾）。
5. 不適當(dāng)語言混合/風(fēng)格變化。
6. 疑似與驗(yàn)證集相似（防止數(shù)據(jù)泄露）。

• 嚴(yán)格篩選 positive Pass@N 的 query：進(jìn)一步提高數(shù)據(jù)質(zhì)量。

(3) 數(shù)據(jù)精選與訓(xùn)練

• 從精煉后的數(shù)據(jù)集中挑選 子集 進(jìn)行 初始冷啟動(dòng)訓(xùn)練，植入基礎(chǔ)推理模式。
• 控制數(shù)據(jù)量 & 訓(xùn)練步數(shù)，避免過度擬合，為后續(xù) RL 階段留出優(yōu)化空間。

核心創(chuàng)新點(diǎn) ：數(shù)據(jù)集設(shè)計(jì)時(shí)已考慮 ??/think??? 和 ??/no_think?? 模式，使模型能靈活切換推理方式。在訓(xùn)練時(shí)，允許模型基于思考預(yù)算動(dòng)態(tài)調(diào)整計(jì)算資源分配。

冷啟動(dòng)后，模型進(jìn)入 Reasoning RL 階段，利用 3995 個(gè)高質(zhì)量 query-verifier 對(duì) 進(jìn)行強(qiáng)化學(xué)習(xí)，進(jìn)一步提升推理能力。

2.Reasoning RL

Reasoning RL 階段，Qwen3 通過 高質(zhì)量 query-verifier 對(duì) 和 RL優(yōu)化，進(jìn)一步提升模型的推理能力，使其在數(shù)學(xué)、代碼、STEM 等復(fù)雜任務(wù)上表現(xiàn)更優(yōu)。

Query-Verifier 設(shè)計(jì)標(biāo)準(zhǔn)

最終收集了 3995 個(gè)高質(zhì)量的 query-verifier 對(duì)，用于 RL 訓(xùn)練。

RL 訓(xùn)練方法

??https://mp.weixin.qq.com/s/zBmVGXecSBOSxImJvBy7JA??

采用 GRPO 更新模型參數(shù)，并采用以下優(yōu)化策略：

此外，Qwen3 還解決了探索（exploration）與利用（exploitation） 的平衡問題： 控制模型熵的穩(wěn)定增長(zhǎng)或保持穩(wěn)定，確保訓(xùn)練過程不會(huì)過早收斂或陷入局部最優(yōu)。

效果： 無需手動(dòng)調(diào)整超參數(shù)，訓(xùn)練過程中 reward 和驗(yàn)證集表現(xiàn)持續(xù)提升。  Qwen3-235B-A22B 在 AIME'24 的得分從 70.1 提升至 85.1，僅用了 170 步 RL 訓(xùn)練。

3.Thinking Mode Fusion（思考模式融合）

核心目標(biāo) ：將 non-thinking（快速響應(yīng)）能力整合到 thinking（復(fù)雜推理）模型中，使開發(fā)者能夠動(dòng)態(tài)控制模型的推理行為，從而在不同任務(wù)需求下靈活切換模式，并保持高性能。

方法
(1) 繼續(xù) SFT（監(jiān)督微調(diào)）

• 基于 Reasoning RL 模型進(jìn)行 SFT，進(jìn)一步優(yōu)化模型的推理和響應(yīng)能力。
• 數(shù)據(jù)構(gòu)造方式：

     Thinking 數(shù)據(jù)：由第一階段的 query 拒絕采樣得到（確保高質(zhì)量）。

     Non-thinking 數(shù)據(jù)：涵蓋多樣化任務(wù)（代碼、數(shù)學(xué)、指令遵循、多語言、創(chuàng)意寫作、問答、角色扮演等），并增加 翻譯任務(wù)比例（提升低資源語言性能）。

     數(shù)據(jù)質(zhì)量評(píng)估：采用自動(dòng)化生成的 checklists 確保數(shù)據(jù)質(zhì)量。

(2) Chat Template 設(shè)計(jì)

• 引入??/think??? 和??/no_think?? 標(biāo)志，使用戶能動(dòng)態(tài)控制模型的推理模式：

  ??     /think??：?jiǎn)⒂猛评砟Ｊ剑ㄟm合復(fù)雜任務(wù)）。

    ??/no_think??：?jiǎn)⒂每焖夙憫?yīng)模式（適合簡(jiǎn)單任務(wù)）。

• 默認(rèn)模式：默認(rèn)使用 thinking 模式，但允許靈活調(diào)整。
• 多輪對(duì)話支持：在復(fù)雜對(duì)話中，可隨機(jī)插入多個(gè)??/think??? 和??/no_think?? 標(biāo)志，模型按 最后遇到的標(biāo)志 決定當(dāng)前模式。

(3) Thinking Budget 機(jī)制Thinking Mode Fusion 的一個(gè)額外優(yōu)勢(shì)是，一旦模型學(xué)會(huì)了以 non-thinking 和 thinking 兩種模式進(jìn)行回應(yīng)，就自然發(fā)展出處理中間情況的能力——基于不完整的思考生成 response。為實(shí)現(xiàn)對(duì)模型思考過程的預(yù)算控制提供基礎(chǔ)。當(dāng)模型思考長(zhǎng)度達(dá)到用戶定義的閾值時(shí)，手動(dòng)停止思考過程，并插入停止思考指令：“Considering the limited time by the user, I have to give the solution based on the thinking directly now.\n.\n\n“。模型會(huì)基于此時(shí)積累的推理生成最終 response。這一能力沒有經(jīng)過明確訓(xùn)練，而是應(yīng)用 thinking mode fusion 后自然出現(xiàn)的。

4.General RL（通用強(qiáng)化學(xué)習(xí)）階段

核心目標(biāo)：全面提升Qwen3模型在不同場(chǎng)景下的能力與穩(wěn)定性，使其能夠適應(yīng)各種復(fù)雜任務(wù)需求，提供更優(yōu)質(zhì)的用戶體驗(yàn)。

復(fù)雜的Reward System設(shè)計(jì)：

構(gòu)建了一個(gè)涵蓋超過20個(gè)不同任務(wù)的復(fù)雜獎(jiǎng)勵(lì)系統(tǒng)，每個(gè)任務(wù)都有定制化的評(píng)分標(biāo)準(zhǔn)，主要針對(duì)以下核心能力進(jìn)行提升：

(1) 指令遵循：確保模型能準(zhǔn)確解讀并遵循用戶指令。包括對(duì)內(nèi)容、格式、長(zhǎng)度以及結(jié)構(gòu)化輸出使用等方面的要求。目標(biāo)是提供符合用戶預(yù)期的回應(yīng)。

(2) 格式遵循：期望模型遵守特定的格式規(guī)范。例如，根據(jù)??/think???和??/no-think??標(biāo)志在思考與非思考模式之間切換。一致使用指定的標(biāo)記來分離最終輸出中的思考和響應(yīng)部分。

(3) 偏好對(duì)齊：關(guān)注提高模型的有用性、參與度和風(fēng)格。最終目標(biāo)是提供更加自然和令人滿意的用戶體驗(yàn)。

(4) Agent能力：涉及訓(xùn)練模型通過指定的接口正確調(diào)用工具。在RL rollout期間，模型被允許執(zhí)行完整的多輪互動(dòng)周期，并獲得真實(shí)環(huán)境執(zhí)行的反饋。提高其在長(zhǎng)期決策任務(wù)中的表現(xiàn)和穩(wěn)定性。

(5) 特定場(chǎng)景能力：在更專業(yè)的場(chǎng)景中設(shè)計(jì)針對(duì)具體情境的任務(wù)。例如，在RAG（檢索增強(qiáng)生成）任務(wù)中，結(jié)合獎(jiǎng)勵(lì)信號(hào)來指導(dǎo)模型生成準(zhǔn)確且符合上下文的response。最小化產(chǎn)生幻覺的風(fēng)險(xiǎn)。

多樣化的獎(jiǎng)勵(lì)類型為上述任務(wù)提供反饋，使用了三種不同類型的獎(jiǎng)勵(lì)：

(1) Rule-based Reward：基于規(guī)則的獎(jiǎng)勵(lì)機(jī)制?？梢愿邷?zhǔn)確性地評(píng)估模型輸出的正確性。 防止reward hacking等問題。

(2) Model-based Reward with Reference Answer：給每個(gè)query提供一個(gè)參考答案。使用Qwen2.5-72B-Instruct基于參考答案給模型的response打分。允許更靈活地處理多樣化任務(wù)，無需嚴(yán)格的格式命令。避免了rule-based reward的假陰性問題。

(3) Model-based Reward without Reference Answer：利用人類偏好數(shù)據(jù)，訓(xùn)練一個(gè)Reward Model。為每個(gè)response提供標(biāo)量分?jǐn)?shù)。更加靈活地適應(yīng)不同任務(wù)和場(chǎng)景的需求。

5.Strong-to-Weak Distillation（強(qiáng)到弱蒸餾）

核心目標(biāo)：利用大模型（教師模型）的知識(shí)，優(yōu)化小模型（學(xué)生模型）的性能，使其在計(jì)算資源有限的情況下，仍能保持較高的推理能力和多任務(wù)適應(yīng)性。

• 5個(gè)Dense模型（0.6B、1.7B、4B、8B、14B）
• 1個(gè)MoE模型（Qwen3-30B-A3B）

蒸餾流程

(1) Off-policy Distillation（離線蒸餾） ：利用大模型（教師模型）在 ??/think??? 和 ??/no_think?? 模式下的輸出，初始化小模型的能力。

• 將教師模型在不同模式下的 response 作為“軟標(biāo)簽”（soft labels）。
• 學(xué)生模型通過最小化與教師模型輸出的 KL 散度（Kullback-Leibler Divergence），學(xué)習(xí)大模型的推理模式。

(2) On-policy Distillation（在線蒸餾）  ：進(jìn)一步優(yōu)化學(xué)生模型，使其更適應(yīng)特定任務(wù)。

• 學(xué)生模型生成 on-policy 數(shù)據(jù)（即學(xué)生模型自己采樣生成的數(shù)據(jù)）。
• 使用教師模型（Qwen3-32B 或 Qwen3-235B-A22B）的 logits 作為參考，調(diào)整學(xué)生模型的輸出分布。
• 最小化 KL 散度，使小模型的預(yù)測(cè)更接近大模型。

結(jié)果

• Qwen3 Dense Base 模型：在類似規(guī)模下，性能與 Qwen2.5 更大規(guī)模模型相當(dāng)。
• Qwen3 MoE Base 模型：  僅用 1/5 的激活參數(shù) 就能達(dá)到與 Dense 模型相似的性能。 即使只有 Qwen2.5 Dense 模型 1/10 的激活參數(shù)，仍能保持可比性能。

實(shí)驗(yàn)評(píng)測(cè)的一些表

表太多，看原文

四階段評(píng)測(cè)

本文轉(zhuǎn)載自??大模型自然語言處理??   作者：余俊暉