美譽(yù)度品牌管理

AI文生視頻賽道正呈現(xiàn)出爆發(fā)之勢！

繼本月AI文生視頻工具Pika 1.0爆火出圈、Gen-2效果大升級之后，斯坦福大學(xué)AI科學(xué)家李飛飛的團(tuán)隊也有了新動作！

美譽(yù)度12月12日報道，今日，李飛飛及其學(xué)生團(tuán)隊與谷歌合作，推出了AI視頻生成模型W.A.L.T（窗口注意力潛在Transformer ，Window Attention Latent Transformer）。

▲李飛飛在社交平臺X發(fā)聲轉(zhuǎn)發(fā)

演示中，W.A.L.T可以通過自然語言提示，生成3秒長的每秒8幀、分辨率達(dá)512×896的逼真視頻。

▲W.A.L.T的文生視頻示例

W.A.L.T可以讓一張靜態(tài)圖片變?yōu)橐粋€的動態(tài)感十足的動圖。

▲W.A.L.T的圖生視頻示例

W.A.L.T還可以用于生成3D攝像機(jī)運(yùn)動的視覺效果。

▲W.A.L.T的3D視頻生成示例

與爆火的Pika 1.0、Gen-2等同類工具類似，W.A.L.T采用擴(kuò)散模型（Diffusion Model）技術(shù)。

同時，W.A.L.T的創(chuàng)新之處在于，其將Transformer架構(gòu)與潛在擴(kuò)散模型（Latent Diffusion Models，LDM）相結(jié)合，在一個共享潛在空間中壓縮圖像和視頻，從而降低計算要求，提高訓(xùn)練效率。

根據(jù)論文，W.A.L.T在視頻生成基準(zhǔn)UCF-101和Kinetics-600、圖像生成基準(zhǔn)ImageNet測試上實(shí)現(xiàn)了SOTA（當(dāng)前最優(yōu)效果）。

項目地址：
https://walt-video-diffusion.github.io/

論文地址：
https://walt-video-diffusion.github.io/assets/W.A.L.T.pdf

▲W.A.L.T相關(guān)論文截圖

一、一句話生成3s視頻，高逼真、強(qiáng)動態(tài)、3D視覺

W.A.L.T模型目前支持文生視頻、圖片轉(zhuǎn)視頻和3D相機(jī)拍攝視頻三項能力，團(tuán)隊展示了一系列W.A.L.T生成示例。

1、文生視頻：一句話生成高清逼真視頻

輸入一句簡短的提示詞，W.A.L.T模型就可以給出一個3秒長的逼真視頻。以下是一些示例：

陽光明媚的下午，宇航員在喂鴨子。（An astronaut feeding ducks on a sunny afternoon.）

一頭戴著生日帽的大象在海灘上行走。（An elephant wearing a birthday hat walking on the beach.）

皮卡丘在拳擊場內(nèi)戴著拳擊手套。（Pikachu wearing boxing gloves, inside a boxing ring.）

一只可愛的熊貓在天空中滑板，越過雪山，充滿夢幻和異想天開的氣氛。（A cute panda skateboarding in the sky, over snow covered mountains, with a dreamy and whimsical atmosphere.）

一對情侶撐著雨傘走回家，傾盆大雨，油畫風(fēng)格。（A couple walking home with umbrellas, heavy downpour, oil painting style.）

2、圖片轉(zhuǎn)視頻：用戶提供圖片，生成動態(tài)視頻

這里的圖片不是由W.A.L.T模型生成的，但動態(tài)效果是的，如下面的示例所示：

一個穿著全套太空服的宇航員騎著馬，慢動作。（An astronaut in full space suit riding a horse, slow motion.）

一個巨大的機(jī)器人在雪里行走。（A giant robot walking through a snowy landscape.）

一只大泰迪熊慢鏡頭走在第五大道上。（A large teddy bear walking down 5th avenue, slow motion.）

3、3D相機(jī)拍攝視頻：物體全景多細(xì)節(jié)展示

團(tuán)隊還展示了3D視頻內(nèi)容的生成，效果看起來就像一個3D攝像機(jī)拍攝而來。示例如下：

鏡頭轉(zhuǎn)向盤子里的漢堡，工作室。（Camera turns around a burger on a plate, studio lighting, 360 rotation.）

攝像機(jī)繞著戴著一副耳機(jī)的南瓜，工作室燈光，360度旋轉(zhuǎn)。（Camera turns around a pair of headphones around a pumpkin, studio lighting, 360 rotation.）

二、Transformer+潛在擴(kuò)散模型，降低計算成本

Transformer在處理視頻等高維數(shù)據(jù)時成本過高，潛在擴(kuò)散模型（Latent diffusion models，LDM）可以降低計算要求。

因此，李飛飛學(xué)生團(tuán)隊與谷歌研發(fā)者共同提出了窗口注意力潛在Transformer（Window Attention Latent Transformer，W.A.L.T），這是一種基于Transformer的潛在視頻擴(kuò)散模型（latent video diffusion models，LVDM）方法。

當(dāng)下，市面上的同類工具如Pika Labs推出的Pika 1.0、Runway的Gen-2，大都采用擴(kuò)散模型（Diffusion Model），這是很長時間里圖像和視頻生成領(lǐng)域的主流技術(shù)路線。

W.A.L.T沿用這一主流技術(shù)路徑，并在此基礎(chǔ)上進(jìn)行創(chuàng)新，主要實(shí)現(xiàn)以下兩方面的升級：

1、使用局部窗口注意力，顯著降低計算需求。

2、更有利的聯(lián)合訓(xùn)練：空間層獨(dú)立處理圖像和視頻幀，而時空層專注于時間關(guān)系建模。

據(jù)悉，這一架構(gòu)主要的優(yōu)勢是它能同時在圖像和視頻數(shù)據(jù)集上進(jìn)行訓(xùn)練。

這得益于W.A.L.T的兩個關(guān)鍵決策：

1、使用因果編碼器，在一個共享潛在空間中壓縮圖像和視頻。

2、使用基于窗口注意力的Transformer架構(gòu)，在潛在空間中聯(lián)合時空生成建模，從而提高記憶和訓(xùn)練效率。

團(tuán)隊基于W.A.L.T訓(xùn)練了三個模型的級聯(lián)（Cascade），用于文本到視頻的生成任務(wù)，包括：一個基本的潛在視頻擴(kuò)散模型、兩個視頻超分辨率擴(kuò)散模型。

在無需使用無分類器指導(dǎo)的情況下，W.A.L.T在視頻生成基準(zhǔn)UCF-101和Kinetics-600、圖像生成基準(zhǔn)ImageNet測試上實(shí)現(xiàn)了SOTA。

▲在基于kinect-600的幀預(yù)測和基于UCF-101的類條件生成的視頻生成評價

三、AI生成視頻爆發(fā)，巨頭和創(chuàng)企都加碼了

短短一個月時間里，AI生成視頻賽道已成爆發(fā)態(tài)勢，背后玩家不僅覆蓋高校及科研團(tuán)隊，還有多家科技巨頭及AI創(chuàng)企。

先是11月3日，視頻生成領(lǐng)域的“老大哥”Runway宣布其AI視頻生成工具Gen-2更新，分辨率提升至4K，大幅提高保真度和一致性。一周后，Runway又緊鑼密鼓地發(fā)布了運(yùn)動畫筆功能，強(qiáng)化視頻局部編輯能力。

Gen-2體驗地址：
https://research.runwayml.com/gen2

▲Runway在X平臺宣布其AI視頻生成工具Gen-2更新

緊接著，國內(nèi)外的科技巨頭都加入了這一賽道。

11月16日，科技巨頭Meta推出了文生視頻模型Emu Video。Emu Video可以通過自然語言生成高質(zhì)量視頻，它將視頻生成分為兩個步驟，首先生成以文本為條件的圖像，然后生成以文本和生成的圖像為條件的視頻。

項目主頁地址：
emu-video.metademolab.com

11月18日，國內(nèi)大廠字節(jié)跳動推出了文生視頻模型PixelDance，提出了基于文本指導(dǎo)+首尾幀圖片指導(dǎo)的視頻生成方法，使得視頻生成的動態(tài)性更強(qiáng)。

項目主頁地址：
https://makepixelsdance.github.io

▲PixelDance的強(qiáng)動態(tài)效果演示

一些AI創(chuàng)企的做法則更激進(jìn)，直接扔出體驗體驗鏈接，引爆消費(fèi)級市場。

11月29日，AI創(chuàng)企Pika Labs推出網(wǎng)頁版Pika 1.0，一時間在消費(fèi)級市場火出圈。Pika 1.0能根據(jù)文字圖片，生成一段3s的流暢視頻；它還支持用戶圈定視頻里的元素，進(jìn)行視頻局部編輯。Pika僅僅開放半年已有超50萬用戶，目前還有更多用戶排隊申請體驗網(wǎng)頁版Pika 1.0產(chǎn)品。Pika是一家創(chuàng)立于今年4月的創(chuàng)企，近期剛剛宣布了5500萬美元融資。

Pika 1.0體驗地址：
https://pika.art/waitlist

▲Pika Labs官宣網(wǎng)頁版Pika 1.0上線

在圖像領(lǐng)域深耕已久的Stability AI也不示弱。11月29日，Stability AI推出了名為Stable Video Diffusion的視頻生成模型，提供SVD和SVD-XT兩個模型。其中，SVD將靜止圖像轉(zhuǎn)換為14幀的576×1024視頻，而SVD-XT在相同的架構(gòu)下將幀數(shù)提升至24。這兩者都能以每秒3到30幀的速度生成視頻，目前已進(jìn)入“研究預(yù)覽”階段。

官方演示視頻：
https://www.youtube.com/watch?v=G7mihAy691g

除此之外，國內(nèi)美圖公司發(fā)布的AI視覺大模型MiracleVision的4.0版本，剛剛新增了AI視頻兩大能力；來自中國科學(xué)院等機(jī)構(gòu)的研究者在11月21日提出了一個無需訓(xùn)練的文本生成視頻框架GPT4Motion；阿里的研究團(tuán)隊在最新論文中提出了新框架Animate Anyone，支持從靜態(tài)圖像AI生成動態(tài)視頻。

商業(yè)化產(chǎn)品集中爆發(fā)，AI生成視頻技術(shù)似乎正迎來一個“ChatGPT時刻”。

結(jié)語：技術(shù)和產(chǎn)品迭代扎堆，AI視頻生成賽道爆發(fā)

短短一個月時間里，我們看到AI視頻生成的技術(shù)和產(chǎn)品加速爆發(fā)，科研機(jī)構(gòu)、AI創(chuàng)企和科技巨頭都出動了。

僅僅一年之前，ChatGPT以迅雷不及掩耳之勢走向全球，為文本創(chuàng)作領(lǐng)域帶來重大的變革，并掀起了全球范圍內(nèi)的“百模大戰(zhàn)”。

一年后的今天，AI視頻生成賽道或許迎來一個新的“ChatGPT時刻”，國內(nèi)外的玩家都已經(jīng)“開卷”了，推動多模態(tài)大模型的升維競賽打響。