今日目錄

1、Nemotron：跨領(lǐng)域推理框架

2、Qwen3模型運(yùn)行與微調(diào)指南

3、重塑AI記憶：分類法、操作與未來方向

4、LLM在工程領(lǐng)域的突破：教模型設(shè)計(jì)高功率火箭

5、ReXGradient-160K：史上最大公開胸部X光數(shù)據(jù)集

1、Nemotron：NVIDIA推出的跨領(lǐng)域推理框架

圖片

最新研究表明，NVIDIA推出的Nemotron-CrossThink框架成功將自學(xué)習(xí)擴(kuò)展到數(shù)學(xué)推理之外的多個(gè)領(lǐng)域。該框架通過系統(tǒng)地將多領(lǐng)域語料庫（包括STEM、人文、社科等）納入強(qiáng)化學(xué)習(xí)訓(xùn)練，顯著提升了模型在多種推理任務(wù)上的泛化能力。

研究結(jié)果顯示，Nemotron-CrossThink在數(shù)學(xué)基準(zhǔn)測試（MATH-500提升30.1%，AMC23提升27.5%）和非數(shù)學(xué)推理基準(zhǔn)（MMLU-PRO提升12.8%，GPQA-DIAMOND提升11.3%）上都取得了顯著進(jìn)步。更令人印象深刻的是，模型同時(shí)提高了響應(yīng)效率——生成正確答案所需的token數(shù)量減少了28%，展現(xiàn)出更專注、更有效的推理能力。

研究團(tuán)隊(duì)發(fā)現(xiàn)，以2:1的比例混合通用推理與數(shù)學(xué)數(shù)據(jù)的訓(xùn)練方式效果最佳，這證明了結(jié)合多領(lǐng)域推理數(shù)據(jù)可以實(shí)現(xiàn)更廣泛的泛化能力。

論文標(biāo)題：Nemotron-CrossThink: Scaling Self-Learning beyond Math Reasoning

論文鏈接：https://arxiv.org/abs/2504.13941

2、Qwen3模型運(yùn)行與微調(diào)指南

圖片

Qwen3模型系列在推理、指令遵循、代理能力和多語言支持方面實(shí)現(xiàn)了最先進(jìn)的進(jìn)步。Unsloth團(tuán)隊(duì)為這些模型提供了全新的Dynamic 2.0量化方法，在5-shot MMLU和KL散度基準(zhǔn)測試上表現(xiàn)出色，讓用戶可以在保持高精度的同時(shí)運(yùn)行和微調(diào)量化版Qwen3模型。

值得注意的是，Qwen3現(xiàn)已支持原生128K上下文長度，通過使用YaRN技術(shù)將原始40K窗口擴(kuò)展到128K。Unsloth還支持Qwen3和Qwen3 MOE模型的微調(diào)——速度提高2倍，VRAM占用減少70%，上下文長度增加8倍。

模型提供了兩種思維模式設(shè)置：

?非思維模式：溫度=0.7，Top_P=0.8，TopK=20

?思維模式：溫度=0.6，Top_P=0.95，TopK=20

用戶可以使用 /think 和 /no_think 命令在對(duì)話中切換模型的思維模式，靈活適應(yīng)不同類型的問題。

教程地址：https://docs.unsloth.ai/basics/qwen3-how-to-run-and-fine-tune

3、重塑AI記憶：分類法、操作與未來方向

圖片

一項(xiàng)新的綜述研究提出了一個(gè)全面的AI記憶系統(tǒng)分類法和框架，將記憶表示分為參數(shù)型、上下文結(jié)構(gòu)化和上下文非結(jié)構(gòu)化三類，并介紹了六種基本記憶操作：鞏固、更新、索引、遺忘、檢索和壓縮。

研究系統(tǒng)地將這些操作映射到最相關(guān)的研究主題，包括長期記憶、長上下文、參數(shù)修改和多源記憶。通過從原子操作和表示類型的角度重新構(gòu)架記憶系統(tǒng)，該綜述提供了關(guān)于AI中記憶研究、基準(zhǔn)數(shù)據(jù)集和工具的結(jié)構(gòu)化和動(dòng)態(tài)視角。

研究團(tuán)隊(duì)通過分析2022-2025年間發(fā)表的30000多篇頂級(jí)會(huì)議論文，揭示了四個(gè)關(guān)鍵研究主題：

（1）長期記憶：多會(huì)話對(duì)話系統(tǒng)中的記憶管理、推理和個(gè)性化

（2）長上下文記憶：處理擴(kuò)展序列的參數(shù)效率和上下文利用有效性

（3）參數(shù)記憶修改：模型編輯、遺忘和持續(xù)學(xué)習(xí)

（4）多源記憶：異構(gòu)文本源和多模態(tài)輸入的集成

論文鏈接：https://arxiv.org/abs/2505.00675

論文標(biāo)題：Rethinking Memory in AI: Taxonomy, Operations, Topics, and Future Directions

4、LLM在工程領(lǐng)域的突破：教模型設(shè)計(jì)高功率火箭

圖片

研究人員開發(fā)了一個(gè)名為RocketBench的基準(zhǔn)測試，評(píng)估大語言模型在高功率火箭設(shè)計(jì)方面的能力，測試包括目標(biāo)高度優(yōu)化和精確著陸挑戰(zhàn)兩項(xiàng)逐步復(fù)雜的設(shè)計(jì)任務(wù)。

研究發(fā)現(xiàn)，盡管最先進(jìn)的大語言模型展示了強(qiáng)大的基礎(chǔ)工程知識(shí)，但在接收模擬結(jié)果后難以迭代改進(jìn)設(shè)計(jì)，最終表現(xiàn)低于人類水平。然而，當(dāng)通過強(qiáng)化學(xué)習(xí)增強(qiáng)后，一個(gè)僅有7B參數(shù)的模型超越了最先進(jìn)的基礎(chǔ)模型和人類專家。

通過強(qiáng)化學(xué)習(xí)訓(xùn)練的模型實(shí)現(xiàn)了12米內(nèi)的精確著陸，并在多個(gè)指標(biāo)上持續(xù)超越人類設(shè)計(jì)，盡管模型架構(gòu)相對(duì)簡單。這項(xiàng)研究證明，經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的大語言模型可以作為復(fù)雜工程優(yōu)化的有效工具，有潛力改變軟件開發(fā)之外的工程領(lǐng)域。

論文標(biāo)題：LLMs for Engineering: Teaching Models to Design High Powered Rockets

論文鏈接：https://arxiv.org/abs/2504.19394

5、ReXGradient-160K：史上最大公開胸部X光數(shù)據(jù)集

圖片

ReXGradient-160K數(shù)據(jù)集，這是迄今為止按患者數(shù)量計(jì)算的最大公開胸部X光數(shù)據(jù)集。該數(shù)據(jù)集包含來自3個(gè)美國醫(yī)療系統(tǒng)（79個(gè)醫(yī)療站點(diǎn)）109,487名獨(dú)特患者的160,000個(gè)胸部X光研究和配對(duì)放射學(xué)報(bào)告。

這個(gè)綜合數(shù)據(jù)集包括每項(xiàng)研究的多張圖像和詳細(xì)的放射學(xué)報(bào)告，對(duì)于開發(fā)和評(píng)估醫(yī)學(xué)影像AI系統(tǒng)和自動(dòng)報(bào)告生成模型特別有價(jià)值。數(shù)據(jù)集被分為訓(xùn)練集（140,000項(xiàng)研究）、驗(yàn)證集（10,000項(xiàng)研究）和公共測試集（10,000項(xiàng)研究），還有一個(gè)額外的私人測試集（10,000項(xiàng)研究）用于ReXrank基準(zhǔn)的模型評(píng)估。

研究團(tuán)隊(duì)通過提供這個(gè)廣泛的數(shù)據(jù)集，旨在加速醫(yī)學(xué)影像AI研究并推進(jìn)自動(dòng)放射學(xué)分析的最新技術(shù)。該數(shù)據(jù)集將在Hugging Face開源。

論文標(biāo)題：ReXGradient-160K: A Large-Scale Publicly Available Dataset of Chest Radiographs with Free-text Reports

論文鏈接：https://arxiv.org/abs/2505.00228

本文轉(zhuǎn)載自??AI帝國??，作者：無影寺