動(dòng)畫短片《龍門》劇照。
受訪者供圖
近期，由中國(guó)傳媒大學(xué)動(dòng)畫與數(shù)字藝術(shù)學(xué)院DigiLab實(shí)驗(yàn)室制作的動(dòng)畫短片《龍門》，獲得第三屆巴西Tiete（“鐵特”音譯）國(guó)際電影獎(jiǎng)實(shí)驗(yàn)短片單元最佳影片提名。該動(dòng)畫短片使用原創(chuàng)生成式人工智能（AIGC）技術(shù)，是國(guó)內(nèi)首部全部以AI技術(shù)制作的水墨動(dòng)畫短片。
目前，AIGC已經(jīng)在美術(shù)、影視、文學(xué)、音樂等創(chuàng)作領(lǐng)域產(chǎn)生廣泛影響，動(dòng)畫領(lǐng)域也不例外。面對(duì)人工智能的挑戰(zhàn)與機(jī)遇，中國(guó)傳媒大學(xué)動(dòng)畫與數(shù)字藝術(shù)學(xué)院院長(zhǎng)王雷帶領(lǐng)實(shí)驗(yàn)室?guī)熒鷪F(tuán)隊(duì)，從2023年初開始嘗試訓(xùn)練水墨風(fēng)格的AI視頻生成模型。團(tuán)隊(duì)通過對(duì)開源AIGC技術(shù)的二次開發(fā)調(diào)整，訓(xùn)練出了擁有自主產(chǎn)權(quán)的人工智能模型“墨池”（Inkstone），經(jīng)過大量反復(fù)試錯(cuò)，開發(fā)完善了水墨插畫風(fēng)格的文生視頻、圖生視頻、視頻風(fēng)格化等AI流程。《龍門》就是應(yīng)用這些技術(shù)完成的試驗(yàn)短片。
產(chǎn)生靈動(dòng)的質(zhì)感
水墨動(dòng)畫將中國(guó)水墨畫引入到動(dòng)畫制片，是最具代表性的中國(guó)動(dòng)畫形式，也是動(dòng)畫創(chuàng)作中非常有難度的一個(gè)片種。傳統(tǒng)水墨動(dòng)畫的制作流程較為繁復(fù)，水墨效果也很難以人手控制。因此，想要做出一個(gè)連貫流暢的水墨動(dòng)態(tài)效果并不容易，成本也較高。直到現(xiàn)在，除了《小蝌蚪找媽媽》《山水情》《牧笛》等經(jīng)典作品，以水墨創(chuàng)作的動(dòng)畫數(shù)量并不多。
“2022年下半年，我開始感到AIGC技術(shù)將給水墨動(dòng)畫帶來新的發(fā)展契機(jī)。因?yàn)锳I能夠加速水墨動(dòng)畫的制作過程，一個(gè)畫面里多達(dá)上百個(gè)的筆觸可以用AI來完成。”王雷說。
走進(jìn)DigiLab實(shí)驗(yàn)室，各式電腦設(shè)備擺滿了辦公桌，幾位老師和同學(xué)正在細(xì)細(xì)打磨新的動(dòng)畫作品。中國(guó)傳媒大學(xué)動(dòng)畫與數(shù)字藝術(shù)學(xué)院副教授段雯鍇，也是《龍門》的導(dǎo)演、技術(shù)總監(jiān)，介紹了運(yùn)用“墨池”制作動(dòng)畫的工作流程：藝術(shù)家需要將創(chuàng)意準(zhǔn)確地告訴“墨池”，引導(dǎo)它按照藝術(shù)家的想法來生成結(jié)果。生成結(jié)果有時(shí)會(huì)存在偏差，因此需要藝術(shù)家理解技術(shù)原理并不斷地嘗試。“與AI溝通需要以技術(shù)或圖形化的方式進(jìn)行，比如輸入文字、三維圖像，或者提供參數(shù)等。”段雯鍇說，目前網(wǎng)絡(luò)上大部分AIGC視頻或圖片生成工具的隨機(jī)性較大，要想做出有明確主題表達(dá)的作品，每個(gè)元素都需要非常精準(zhǔn)的掌控。因此，在制作《龍門》的時(shí)候，DigiLab實(shí)驗(yàn)室?guī)熒鷪F(tuán)隊(duì)采用了真人實(shí)拍加綠幕摳像的方式，在這個(gè)過程中拍攝了很多角色動(dòng)作，“墨池”會(huì)將實(shí)拍素材進(jìn)行打磨，并補(bǔ)充出更多細(xì)節(jié)，最后形成水墨暈染的效果。
這是一個(gè)人機(jī)溝通的過程，也是一個(gè)從創(chuàng)意到實(shí)踐的過程。《龍門》就是DigiLab實(shí)驗(yàn)室?guī)熒鷪F(tuán)隊(duì)與“墨池”溝通的產(chǎn)物。“墨池”采用多模態(tài)視頻生成方式，攻克了諸多技術(shù)難題，在角色面部特征穩(wěn)定性、較長(zhǎng)鏡頭生成中，降低了視頻抖動(dòng)與局部錯(cuò)誤，使畫面擁有靈動(dòng)而充滿意境的水墨質(zhì)感。
“水墨動(dòng)畫是中國(guó)動(dòng)畫學(xué)派的核心和瑰寶。如果我們用新技術(shù)能生成跟以往一樣，甚至更好的效果，對(duì)整個(gè)中國(guó)動(dòng)畫行業(yè)都是有所貢獻(xiàn)的。”王雷說。
呈現(xiàn)新的視覺效果
說起“墨池”模型的研發(fā)，王雷想起了一些有趣的故事。AIGC訓(xùn)練和生成需要算力，開發(fā)“墨池”正值夏天，實(shí)驗(yàn)室里所有的電腦都在全力運(yùn)轉(zhuǎn)。實(shí)驗(yàn)室變得非常熱，團(tuán)隊(duì)成員來到別的地方辦公，遠(yuǎn)程操控電腦。“空無一人的實(shí)驗(yàn)室也能繼續(xù)‘熱火朝天’的創(chuàng)作，可見技術(shù)讓創(chuàng)作模式發(fā)生了多大的改變。”王雷說。
建立“墨池”模型的過程充滿挑戰(zhàn)。AIGC作為新技術(shù)，缺乏足夠的現(xiàn)成材料，需要不斷地做測(cè)試。王雷告訴筆者：“過程中，我們經(jīng)歷了大量試錯(cuò)和遇到問題不知如何解決的時(shí)刻，這也是經(jīng)驗(yàn)積累的過程。”段雯鍇說，在訓(xùn)練自主模型的過程中，自己每天都會(huì)接觸到新技術(shù)，需要不斷更替優(yōu)化。
段雯鍇結(jié)合動(dòng)畫生產(chǎn)細(xì)節(jié)舉例說，如果用二維或者三維動(dòng)畫的方式去創(chuàng)作水墨動(dòng)畫，會(huì)涉及貼圖、燈光渲染等方式，生成的畫面精度較低，AI則可以做到細(xì)節(jié)的無限添加。“AIGC能夠?qū)崿F(xiàn)傳統(tǒng)動(dòng)畫創(chuàng)作模式不敢做或無法實(shí)現(xiàn)的效果，開創(chuàng)動(dòng)畫新的視覺路線。”他說。
“AIGC技術(shù)對(duì)動(dòng)畫界的影響，可能相當(dāng)于手機(jī)拍照功能之于攝影界，能夠給創(chuàng)作者帶來新的可能。”王雷表示，AIGC技術(shù)一方面降低了創(chuàng)作門檻，讓普通人就可以做出簡(jiǎn)單的動(dòng)畫，并通過在短視頻平臺(tái)的分享，讓動(dòng)畫更貼近日常生活；另一方面，這項(xiàng)技術(shù)還能催生更多更加快捷的專業(yè)化工具，呈現(xiàn)更加令人驚嘆的視覺效果。“我們從業(yè)者還需要進(jìn)一步思考技術(shù)和內(nèi)容表達(dá)的關(guān)系，在技術(shù)迅速更迭的時(shí)代發(fā)揮所長(zhǎng)，掌握技術(shù)的自主性和獨(dú)創(chuàng)性，用好技術(shù)做更專業(yè)的內(nèi)容。”王雷說。
據(jù)悉，中國(guó)傳媒大學(xué)已經(jīng)和英特爾公司聯(lián)合創(chuàng)辦了AIGC創(chuàng)作實(shí)踐中心。強(qiáng)大的硬件能力加持，相信將有助于高校和平臺(tái)收獲更多成果。
“墨池”模型目前主要能生成一種風(fēng)格的水墨動(dòng)畫。DigiLab實(shí)驗(yàn)室團(tuán)隊(duì)已經(jīng)策劃了新的項(xiàng)目，將逐步豐富“墨池”的家族譜系，迭代“墨池”，并在未來的動(dòng)畫制作和教學(xué)中加以應(yīng)用。“前輩們已經(jīng)將傳統(tǒng)流程做得非常優(yōu)秀了，往前走則是我們應(yīng)當(dāng)做的思考。”王雷說，AIGC時(shí)代，如何開拓前沿，在國(guó)際舞臺(tái)上持續(xù)釋放中國(guó)動(dòng)畫與數(shù)字藝術(shù)行業(yè)的巨大潛力，是動(dòng)畫科研創(chuàng)作者們不斷努力的方向。