Framepack AI 是由斯坦福大學(xué)的研究人員開發(fā)的一種開創(chuàng)性的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它徹底改變了視頻生成模型處理長篇內(nèi)容的方式。

該論文核心是解決了長期以來一直困擾視頻生成系統(tǒng)的基本“遺忘漂移困境”。

通過實施一種創(chuàng)新的壓縮技術(shù)，根據(jù)幀的重要性對幀進行優(yōu)先級排序，無論視頻時長如何，F(xiàn)ramepack AI 都能保持固定的轉(zhuǎn)換器上下文長度。

這一成就使 AI 系統(tǒng)能夠在不增加計算要求的情況下處理更多的幀，使長視頻生成不僅成為可能，而且實用且高效。

Framepack AI 關(guān)鍵創(chuàng)新

• 固定上下文長度 無論輸入視頻長度如何，都能保持恒定的計算瓶頸，從而能夠高效處理較長的視頻
• 漸進式壓縮 對不太重要的幀應(yīng)用更高的壓縮率，優(yōu)化內(nèi)存使用，同時保留關(guān)鍵的視覺信息
• 防漂移采樣 新穎的采樣方法，可生成具有雙向上下文的幀，以防止質(zhì)量隨時間推移而下降
• 高兼容架構(gòu) 通過微調(diào)與現(xiàn)有的預(yù)訓(xùn)練視頻擴散模型配合使用，而無需從頭開始重新訓(xùn)練

AI視頻生成中的遺忘漂移困境

視頻生成模型一直在努力創(chuàng)建更長的視頻，以便在其整個持續(xù)時間內(nèi)保持一致性和質(zhì)量。這種限制限制了 AI 生成視頻的實際應(yīng)用。 當(dāng)模型嘗試生成較長的視頻時，它們會：

• 忘記前一幀中的細節(jié)，導(dǎo)致字符、設(shè)置或動作不一致
• 累積錯誤，這些錯誤會隨著時間的推移而復(fù)合，導(dǎo)致視覺降級和偽影 FramePack 的創(chuàng)新方法同時解決了這兩個問題，為 AI 生成的內(nèi)容創(chuàng)建開辟了新的可能性。

Framepack工作原理

漸進式幀壓縮

防漂移采樣方法

FramePack 引入了創(chuàng)新的采樣方法，這些方法以不同的時間順序生成幀，以防止質(zhì)量下降。

Framepack性能結(jié)果

主要結(jié)論

• 倒置防漂移采樣方法在 7 個指標(biāo)中的 5 個指標(biāo)中取得了最佳結(jié)果，明顯優(yōu)于其他方法。
• 與生成 1 或 4 幀相比，每個部分生成 9 幀會產(chǎn)生更好的感知，更高的人工評估分數(shù)證明了這一點。
• 與其他架構(gòu)相比，F(xiàn)ramePack 在所有指標(biāo)上的漂移誤差都較低。
• 該方法通過微調(diào)與 HunyuanVideo 和 Wan 等現(xiàn)有視頻擴散模型兼容。

推理效率

場景應(yīng)用

本文轉(zhuǎn)載自??沐白AI筆記??，作者：楊沐白