重磅!谷歌DeepMind發(fā)布AlphaEvolve:AI界的“算法設(shè)計(jì)進(jìn)化大師”誕生
谷歌DeepMind剛剛又往前拱了一大步,宣布推出 AlphaEvolve智能體 ,目標(biāo)直指更上游,用于通用算法的設(shè)計(jì)發(fā)現(xiàn)和優(yōu)化。
簡單說,AlphaEvolve就像個(gè)AI界的“算法育種大師”。它把自家Gemini大模型(Gemini Flash負(fù)責(zé)廣撒網(wǎng),洞察力強(qiáng)的Gemini Pro負(fù)責(zé)深挖)和一套“自動(dòng)化考官”(負(fù)責(zé)驗(yàn)證算法靠不靠譜、效率高不高)結(jié)合起來,再套上一個(gè)“進(jìn)化論”的框架,讓好算法能一代更比一代強(qiáng)。
AlphaEvolve工作流程:工程師設(shè)定框架,AI通過“提示采樣器”給LLM喂招,LLM出新招(程序),“考官”打分,好招進(jìn)“兵器譜”,并用來啟發(fā)下一輪出招。
去年DeepMind就秀過肌肉,證明LLM能生成代碼函數(shù)來搞定科學(xué)問題。但AlphaEvolve的野心是進(jìn)化一整個(gè)代碼體系,去啃那些更復(fù)雜的算法硬骨頭。
AlphaEvolve已經(jīng)在谷歌內(nèi)部“上崗”了
AlphaEvolve已經(jīng)在谷歌的多個(gè)核心業(yè)務(wù)里默默發(fā)光發(fā)熱了:
1.改善數(shù)據(jù)中心調(diào)度:
AlphaEvolve給谷歌龐大的數(shù)據(jù)中心Borg系統(tǒng)發(fā)現(xiàn)了一種簡單卻極其有效的啟發(fā)式方法。這套方案上線一年多,平均給谷歌全球計(jì)算資源摳回了0.7%的算力。
2.設(shè)計(jì)芯片 (TPU Circuit Design):
在谷歌的AI芯片TPU設(shè)計(jì)中,AlphaEvolve直接上手改起了Verilog(芯片設(shè)計(jì)語言)。它優(yōu)化了一個(gè)矩陣乘法關(guān)鍵電路,去掉了冗余。改動(dòng)通過了嚴(yán)格的“體檢”,確認(rèn)功能沒問題,已經(jīng)被用在了下一代TPU里。
3.給AI訓(xùn)練和推理再提提速:
AlphaEvolve找到了更巧妙的方法來拆解大矩陣乘法,讓Gemini架構(gòu)里的這個(gè)核心“零部件”快了23%,最終給Gemini模型的訓(xùn)練省了1%的時(shí)間。對(duì)大模型訓(xùn)練這種“吞金獸”來說,1%也是肉。工程師們也從幾周的苦哈哈優(yōu)化,變成了幾天的自動(dòng)化實(shí)驗(yàn),能更快搞創(chuàng)新了。
它甚至還能優(yōu)化底層的GPU指令。對(duì)于Transformer模型里常用的FlashAttention,AlphaEvolve給整出了最高32.5%的加速。這塊通常是編譯器啃的硬骨頭,人一般不輕易動(dòng)。
不止搞工程,數(shù)學(xué)前沿它也敢闖
AlphaEvolve的目標(biāo)不只是優(yōu)化現(xiàn)有系統(tǒng),它還想在更基礎(chǔ)的數(shù)學(xué)和算法發(fā)現(xiàn)上取得突破:
矩陣乘法新算法:
給定一個(gè)基礎(chǔ)代碼框架,AlphaEvolve設(shè)計(jì)出了一種新穎的基于梯度的優(yōu)化過程,發(fā)現(xiàn)了多個(gè)矩陣乘法新算法。例如,它找到了一個(gè)用48次標(biāo)量乘法計(jì)算4x4復(fù)數(shù)矩陣乘積的算法,優(yōu)于自1969年以來已知的Strassen算法。這比DeepMind之前的AlphaTensor(專攻矩陣乘法,但對(duì)4x4矩陣只在二元算術(shù)上找到改進(jìn))又進(jìn)了一步。
攻克公開數(shù)學(xué)難題:
DeepMind用AlphaEvolve嘗試了超過50個(gè)來自數(shù)學(xué)分析、幾何、組合學(xué)和數(shù)論的公開問題,在約 75% 的案例中,它重新發(fā)現(xiàn)了當(dāng)前已知的最優(yōu)解。在約20%的案例中,它改進(jìn)了已知的最優(yōu)解!
例如,在困擾了數(shù)學(xué)家300多年的“接吻數(shù)問題”(Kissing Number Problem,即一個(gè)中心球最多能同時(shí)接觸多少個(gè)不重疊的等大球體)上,AlphaEvolve在11維空間中發(fā)現(xiàn)了一個(gè)包含593個(gè)外層球的構(gòu)型,刷新了該維度下的已知下界。
對(duì)數(shù)學(xué)成果感興趣的,DeepMind也放了些結(jié)果在Google Colab上,地址:
寫在最后
大語言模型的編碼能力還在進(jìn)化,AlphaEvolve也會(huì)跟著變強(qiáng)。谷歌目前推出了早期試用計(jì)劃,先給學(xué)術(shù)圈的朋友們嘗嘗鮮,想嘗鮮的可以去DeepMind官網(wǎng)填個(gè)表
https://docs.google.com/forms/d/e/1FAIpQLSfaLUgKtUOJWdQtyLNAYb3KAkABAlKDmZoIqPbHtwmy3YXlCg/viewform
想深挖的,paper地址: