沿最優(yōu)輸運方向的重整化可能是世界演化的核心方式
早在2014年,Mehta和Schwab就證明了“基于受限玻爾茲曼機(RBM)的深度模型和變分RG之間存在精確對應”。深度網(wǎng)絡底層神經元捕捉細節(jié),高層神經元提取抽象特征,本質上等同于RG中積分掉高頻自由度壓縮與粗化信息的過程。
2022年Erdmenger等學者引入相對熵、最優(yōu)輸運(OT)等非微擾工具,來描述深度網(wǎng)絡,證明多層神經網(wǎng)絡的特征提取過程與RG的粗?;襟E具有形式一致性。深度學習并非在模仿物理,而是在自然演化中與物理過程趨同。
圖片
沿最優(yōu)輸運方向重整化
重整化群流作為最優(yōu)輸運,不僅確定了精確重整化群流的方程等效于場的相對熵的最優(yōu)輸運梯度流,還巧妙的使用最優(yōu)輸運的思想將重整化群轉化為變分問題。筆者進一步總結:
尺度變換的每一步,RG Flow 的流向,都將沿著最優(yōu)輸運的方向進行,也就是物理量的 RG Flow 尺度變換前的概率分布與尺度變換后的概率分布的距離最近的方向,而這就是Wasserstein 距離決定的方向。
Wasserstein 距離是概率分布空間上的距離度量,在最優(yōu)輸運中起著核心作用,用于衡量兩個概率分布之間的距離。世界的不斷演進,都是冥冥中遵循最小化各種代價或成本的方式進行,最優(yōu)輸運某種意義上是自然演化的必然方向和準則。
大模型數(shù)理認知框架
筆者借鑒類似思想,構建了大模型的數(shù)理認知框架:1、重整化從海量語料中提取出范疇,2、持續(xù)重整化驅動范疇解構重組結晶,3、于范疇中采樣變分生成,即逆重整化過程。這里的重整化,均沿最優(yōu)輸運方向進行。
圖片
數(shù)理框架的核心視角是將深度網(wǎng)絡的后續(xù)層看作沿著最優(yōu)輸運方向的 RG 流。到目前為止,用這個數(shù)理框架來理解和解釋大模型的各種行為特征,分析預判相應的技術與行業(yè)演進方向,均表現(xiàn)健全且自洽。
自旋玻璃與重整化
數(shù)據(jù)雕刻自旋玻璃中筆者介紹過spin-transformer :一個可微的矢量自旋系統(tǒng),由數(shù)據(jù)驅動,其集體行為可以通過訓練來塑造。這是一個高度自適應的系統(tǒng),其中自旋交互形勢全景本身是由輸入動態(tài)塑造的。
自旋玻璃實際上不是玻璃,而是形象化比喻一個網(wǎng)絡狀的自旋系統(tǒng)。"玻璃"二字形容自旋方向的無規(guī)則分布,自旋玻璃的集體微觀無序到宏觀有序行為,天然適合用重整化描述。
一個由大量自由度描述的無序系統(tǒng),逐級尺度執(zhí)行粗粒度化操作,自由度子集被組合在一起平均,形成新的集體變量或隱變量。遵循成本最低原則即最優(yōu)輸運的重整化,成為刻畫這些系統(tǒng)物理本質特征的最佳方式。
圖片
自旋玻璃是自然界中眾多復雜體系的代表,在物理世界中無處不在、無時不有。研究清楚其特征和規(guī)律對認知其他復雜體系可以觸類旁通,從構建遷移學習的統(tǒng)計模型,到整合量子場論與愛因斯坦引力。
自旋玻璃角度看遷移學習
遷移學習(TL)使用從相關源任務獲得的信息來提高特定目標任務的泛化性能。盡管經驗結果證明了TL功能強大,其理論基礎卻至今不夠清晰,尤其是在有限寬度的設定下,或者當源與目標任務在結構上相關卻不完全相同時。
利用深度學習理論比例極限機制的最新進展,結合自旋玻璃理論中經典“Franz-Parisi ”形式、核重整化方法等統(tǒng)計力學的工具,最近的研究【文獻1】提出了一種新的TL理論方法。
在比例極限中,TL通過重整化的源-目標核函數(shù)實現(xiàn)——該核函數(shù)量化任務間關聯(lián)性并決定TL是否能改善泛化性能,也就是精確量化TL何時或如何改善泛化能力,以及在什么條件下會變得無效甚至有害。
重整化彌合引力與量子場論
讀者或許了解,現(xiàn)代物理學兩大基石 - 量子場論與愛因斯坦引力理論之間存在根本性矛盾。量子理論描述微觀世界的概率性粒子相互作用,而廣義相對論詮釋宏觀物體的引力現(xiàn)象。將引力納入統(tǒng)一框架是幾代物理學家的夙愿。
量子場論運用的是與量子場內部自由度相關的緊致有限維對稱性,而廣義相對論則建立在非緊致無限維外部時空對稱性之上。【文獻2】試圖借助重整化加持的新型量子引力理論,利用緊致有限維對稱性推導引力規(guī)范。
在一個自洽的數(shù)學框架內,標準模型所有基本相互作用的量子場共同描述引力。論文給出了統(tǒng)一引力的費曼規(guī)則,研究了一階項的可重整化性及輻射修正。等效原理要求慣性質量與引力質量的重整化值相等。
統(tǒng)一引力有望為構建完整的、可重整化的量子引力理論奠定基礎。新理論通過"重整化"處理計算中出現(xiàn)的無窮大量,證明在"一階項"計算中有效,但高階項的有效性尚未完整證明。學者們相信成功概率很高,一旦成功,將是革命性的。
雖然論文沒有明確重整化的方向,其遵循的物理殼層重整化方案(On-Shell Renormalization Scheme)嚴格遵循自由粒子的質量、能量和動量關系,因而筆者判斷其天然符合自然演化的規(guī)律,類似最優(yōu)輸運的最小成本方向。
生成化學反應過渡態(tài)的最優(yōu)輸運方法
Nature上有一項來自化學反應過渡態(tài)(TS:transition state)領域的有趣的研究【文獻3】 -- 用于生成化學反應過渡態(tài)的最優(yōu)輸運方法。讓我們驚訝于最優(yōu)輸運在自然界的廣泛存在與意義。
化學反應TS是瞬態(tài)結構,對于理解反應機理和設計催化劑至關重要,但通過實驗捕獲極具挑戰(zhàn)性。論文開發(fā)了基于最優(yōu)輸運的方法React-OT,可從反應物和產物生成獨特的TS結構。筆者理解類似該領域的AlphaFold。
React-OT方法的核心創(chuàng)新在于將反應物到產物的結構轉換建模為最優(yōu)輸運問題。通過流匹配(flow matching)技術,構建從反應物分布到產物分布的確定性傳輸路徑,而過渡態(tài)恰好對應于傳輸過程中"質量"重新分配劇烈的臨界點(critical point)。
高階拉普拉斯重整化中探討過臨界點不穩(wěn)定,常常發(fā)生對稱性破缺,導致劇烈的相變。相變是重整化流中的特殊階段,是最劇烈和難以把控的部分,但從React-OT的效果可以推斷其同樣遵循最優(yōu)輸運的方向。
這種視角將化學反應動力學與概率分布的演化聯(lián)系起來。大規(guī)模預訓練實際上是在構建化學空間的基礎度量,即學習如何準確衡量不同分子結構之間的"距離"。這種度量決定了過渡態(tài)間傳輸成本函數(shù)的合理性,前景同樣堪比AlphaFold。
世界演化的核心方式
從微觀到宏觀,從物理變化彌合量子場論與引力,到化學反應復雜劇烈的能量與物質交換,重整化和最優(yōu)輸運這兩個好搭檔,與自然現(xiàn)象相伴相生。物理變化化學反應本質并無差異,只是相變的時間尺度和劇烈程度的不同。
道生萬物的現(xiàn)代物理學解讀中筆者講萬事萬物不過是能量傳遞與演化的不同方式。重整化帶來不同的尺度,而最優(yōu)輸運則決定演化的方向。
道生“能量”,能量“源”“匯”分布,產生“空間”;“源”“匯”的相互流動產生“時間”;能量流動的尺度和速度,決定不同的時空,也促成能量到“質量”的轉換,從“波”到“粒子”。
能量在時空中流動,穿越邊界的通量變化,派生散度與旋度,即電場和磁場;波放慢速度鈍化成粒子(薛定諤的愛情與狄拉克的996),粒子構成化學元素,元素物理變化或者化學反應形成實物世界。自由能喂食生命體;能量分布的辨識產生信息;對信息的分尺度重整化即為認知。獲取能量分布的局部認知,進一步推斷出原始整體分布,就是學習和智能。
文獻1,Statistical mechanics of transfer learning in fully-connected networks in the proportional limit,https://arxiv.org/html/2407.07168v1
文獻2,Gravity generated by four one-dimensional unitary gauge symmetries and the Standard Model,https://iopscience.iop.org/article/10.1088/1361-6633/adc82e/pdf
文獻3,Optimal transport for generating transition states in chemical reactions,https://www.nature.com/articles/s42256-025-01010-0
本文轉載自????????清熙????,作者:王慶法
