剛剛，OpenAI發(fā)布sCM提升50倍效率，擴散模型重大技術突破！ 原創(chuàng)
1、sCM 新擴散模型
在今日凌晨，OpenAI 推出了創(chuàng)新的擴散模型方法 sCM，這一方法僅需兩步驟即可生成高質量的圖片和 3D 模型，實現了高達50倍的時鐘速度提升，特別是在處理高分辨率任務時表現尤為出色。
舉例來說，利用 sCM 訓練的一個擁有15億參數的模型，在單個A100 GPU上，無需進行任何推理優(yōu)化，就能在 0.11 秒內完成內容的生成。
目前，在擴散模型中生成圖片速度最快的是 Stability AI 開源的 SD 快速版本，它需要四步來生成高質量圖片。而 sCM 在確保圖像質量的同時，還將推理效率提高了一倍，并簡化了連續(xù)時間一致性模型的理論公式，使得模型能夠在更大的數據集上進行穩(wěn)定訓練和擴展。
sCM 的核心原理是建立在一致性模型的基礎上，它通過直接將噪聲轉換為無噪聲樣本來生成數據。與傳統(tǒng)擴散模型將數據生成視為從噪聲到數據的漸進過程不同，一致性模型采取了一種更為直接的方式，可以在單步或幾步之內從噪聲狀態(tài)直接跳轉到數據狀態(tài)。
sCM 采用了連續(xù)時間框架，這使得模型理論上能夠在連續(xù)的時間線上進行操作，從而避免了離散時間模型中的離散化誤差。在連續(xù)時間的一致性模型中，模型的參數化、擴散過程和訓練目標都經過了重新定義，以適應連續(xù)時間的環(huán)境。
例如，模型的參數化不再依賴于離散的時間步，而是直接與時間本身相關。這種連續(xù)時間的參數化方法使得模型能夠更精確地捕捉數據生成過程中的動態(tài)變化。
在網絡架構上，sCM 引入了優(yōu)化后的時間條件、自適應組歸一化、新型激活函數和自適應權重，這些改進旨在提升模型的訓練穩(wěn)定性和生成質量。優(yōu)化后的時間條件幫助模型更準確地感知時間變化，自適應組歸一化則保持了訓練過程中內部特征的穩(wěn)定性，新型激活函數增強了模型的非線性表達能力，而自適應權重的使用允許模型根據訓練數據的分布動態(tài)調整損失函數中的權重，減少了不同時間步長之間的損失方差。
為了驗證 sCM的性能，研究人員在CIFAR-10、ImageNet 64×64和ImageNet 512×512等多個數據集上進行了全面評測。結果證實，sCM是目前最為高效的擴散生成方法。例如，在ImageNet 512×512數據集上，sCM模型的FID得分達到了1.88，且所需的計算資源更少，效率更高。
2、網友討論
一些網友評論稱，若將這種技術應用于視頻領域，實時視頻處理的時代可能很快就會到來。同時，Sora 的推理壓力也將大幅減輕。
“很高興再次看到 OpenAI 發(fā)布技術論文?！?/p>
如果 Sora 采用了這項技術，它的公測版本應該不遠了吧？“
這種簡化版的模型非常適用于那些需要快速得到結果但又不犧牲質量的應用場景！”
“這個模型看起來非常有潛力。"
”僅用兩步就能生成內容，這無疑將再次顛覆游戲規(guī)則。"
“將這項技術應用于 Sora，我們期待的產品可能就要問世了。"
目前，OpenAI 已經公布了這項研究方法，值得一提的是，這是由兩位華人研究者提出的。
論文鏈接：https://arxiv.org/abs/2410.11081
本文轉載自公眾號玄姐聊AGI 作者：玄姐
