1、當(dāng)ChatGPT爆火后，大語言模型LLM的完整修煉之路

圖片

從ChatGPT橫空出世以來，大語言模型（LLM）已經(jīng)成為了AI領(lǐng)域最炙手可熱的研究方向。最近發(fā)表的這篇綜述性論文為我們?nèi)娼馕隽薒LM從訓(xùn)練到推理的完整技術(shù)路線圖。  

圖片

縱觀LLM的發(fā)展歷程，我們見證了一個重要的技術(shù)演進(jìn)過程：從最早的統(tǒng)計(jì)語言模型(SLM)，到基于神經(jīng)網(wǎng)絡(luò)的語言模型(NLM)，再到以ELMo為代表的預(yù)訓(xùn)練語言模型(PLM)。而真正的突破性進(jìn)展，則是Transformer架構(gòu)的出現(xiàn)。這個支持并行計(jì)算的自注意力機(jī)制，讓模型可以輕松實(shí)現(xiàn)規(guī)模化擴(kuò)展，為后來GPT系列等大模型的誕生鋪平了道路。

圖片

有趣的是，隨著模型規(guī)模的不斷擴(kuò)大（通常超過60-100億參數(shù)），研究人員發(fā)現(xiàn)了一個令人驚嘆的現(xiàn)象：模型會突然展現(xiàn)出"涌現(xiàn)"能力。它不僅能生成高質(zhì)量文本，還具備了強(qiáng)大的學(xué)習(xí)和推理能力，甚至可以通過上下文學(xué)習(xí)（ICL）來完成少樣本學(xué)習(xí)任務(wù)。這也解釋了為什么ChatGPT能在各類下游任務(wù)中展現(xiàn)出如此出色的表現(xiàn)。    

圖片

圖片

不過，訓(xùn)練和部署LLM并非易事。論文指出，這需要處理海量數(shù)據(jù)的專業(yè)知識和豐富的分布式并行訓(xùn)練經(jīng)驗(yàn)。未來的發(fā)展趨勢將更加注重降本增效：在訓(xùn)練端，重點(diǎn)關(guān)注數(shù)據(jù)預(yù)處理、訓(xùn)練架構(gòu)優(yōu)化、預(yù)訓(xùn)練任務(wù)設(shè)計(jì)等；在推理端，則致力于模型壓縮、并行計(jì)算和內(nèi)存調(diào)度等技術(shù)創(chuàng)新。這些都將是推動LLM技術(shù)繼續(xù)演進(jìn)的關(guān)鍵。

圖片

論文標(biāo)題：Understanding LLMs: A Comprehensive Overview from Training to Inference

論文鏈接：??https://arxiv.org/abs/2401.02038??

2、為什么說AI Agent還不夠？一文讀懂下一代智能助手的關(guān)鍵缺陷

圖片

近期AI Agent成為了行業(yè)熱點(diǎn)，但一篇最新發(fā)表的研究論文指出，僅僅依靠能力更強(qiáng)的AI Agent并不足以解決目前面臨的根本性問題。研究團(tuán)隊(duì)深入分析了當(dāng)前AI Agent存在的局限性，并提出了一個全新的生態(tài)系統(tǒng)解決方案。

圖片

傳統(tǒng)的AI Agent在執(zhí)行任務(wù)時往往需要頻繁的人工干預(yù)，難以適應(yīng)不同用戶的個性化需求，同時在隱私保護(hù)和可信度方面也存在明顯短板。論文提出，要建立一個包含Agents（執(zhí)行具體任務(wù)）、Sims（代表用戶偏好和行為）以及Assistants（直接與用戶交互并協(xié)調(diào)任務(wù)執(zhí)行）三個核心組件的新型生態(tài)系統(tǒng)。

這個創(chuàng)新的生態(tài)系統(tǒng)設(shè)計(jì)獨(dú)特之處在于：Agents負(fù)責(zé)執(zhí)行專門的任務(wù)，Sims作為用戶的數(shù)字化表征可以攜帶用戶偏好和隱私設(shè)置，而Assistants則作為私密版本的agent，深入理解用戶需求并靈活調(diào)用Sims和Agents來完成任務(wù)。這種分層架構(gòu)不僅能提供個性化服務(wù)，還能確保用戶隱私和系統(tǒng)可信度。

研究人員預(yù)測，未來可能會出現(xiàn)類似應(yīng)用商店的"agent商店"，提供經(jīng)過驗(yàn)證的各類agents供用戶或其Assistants調(diào)用。但成功的關(guān)鍵在于確保整個生態(tài)系統(tǒng)的標(biāo)準(zhǔn)化、社會接受度以及持續(xù)的價值創(chuàng)造。這需要在技術(shù)創(chuàng)新的基礎(chǔ)上，更加注重用戶體驗(yàn)、信任建設(shè)和社會規(guī)范的融合。    

論文標(biāo)題：Agents Are Not Enough

論文鏈接：???https://www.arxiv.org/abs/2412.16241??

本文轉(zhuǎn)載自 ??AI帝國??，作者： 無影寺