昆侖萬維近期宣布了一項重大技術突破,正式向公眾開源兩大創新模型:SkyReels-V1與SkyReels-A1。這兩款模型分別針對AI短劇創作和視頻表情動作控制,標志著國內在視頻生成技術領域的重大進展。
SkyReels-V1作為首個面向AI短劇創作的視頻生成模型,其在技術層面實現了諸多突破。該模型通過細致入微的表演細節打標,以及對情緒、場景和表演訴求的深入處理,利用海量的好萊塢級別數據進行訓練和優化。據昆侖萬維介紹,SkyReels-V1不僅能夠生成具備電影級質感的畫面,還在構圖、演員站位和相機角度等方面展現出卓越的專業能力。
SkyReels-V1的另一大亮點在于其強大的表情動作生成能力。模型支持33種人物表情與超過400種自然動作的靈活組合,能夠精準還原真人的情感表達,如大笑、怒吼、驚訝和哭泣等微表情,使生成的短劇更加生動和真實。
SkyReels-V1還具備文生視頻和圖生視頻的雙重能力,成為開源視頻生成模型中參數最大、支持圖生視頻的佼佼者。在自研推理優化框架「SkyReels-Infer」的加持下,模型在單臺4090顯卡上僅需80秒即可完成544p分辨率的視頻推理,并支持分布式多卡并行處理,進一步提升了生成效率。
除了視頻生成能力外,SkyReels-V1還構建了影視化表情識別體系,能夠精準理解11種影視戲劇中的人物表情,如不屑、不耐煩等細膩情感。同時,模型還具備人物空間位置感知和行為意圖理解能力,能夠基于人體三維重建技術,生成影視級的人物站位和精準的行為語義分析。
為了進一步提升人物視頻生成的精準度和可控性,昆侖萬維還開源了SkyReels-A1模型。這款SOTA級別的視頻基座模型表情動作可控算法,能夠基于任意人體比例生成人物動態視頻,并支持視頻驅動的電影級表情捕捉。通過輸入參考人物圖片和驅動視頻,SkyReels-A1能夠將驅動視頻中的面部表情和表演細節完美“移植”到參考圖片中的人物身上。
SkyReels-A1的開源,無疑為視頻創作者提供了更加靈活和高效的創作工具。無論是專業影視制作團隊還是個人創作者,都能夠利用這兩款模型,輕松實現高質量的視頻內容創作。
對于對這兩款模型感興趣的開發者和技術愛好者,可以通過以下鏈接獲取更多信息和資源:
SkyReels-V1:https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1:https://github.com/SkyworkAI/SkyReels-A1