AI 暫時改善不了制作效率,Dwango 發表機器深度學習自動制作中間幀動畫實驗論文
這 兩年 AI(人工智慧)成了一個最熱門的科技詞彙,國內國外的大型網際網路公司都開始在人工智慧領域加大投入,Google 的 Alpha GO 在圍棋領域更是橫掃人類棋手,人工智慧以及背後的機器學習、神經網絡算法也成為了熱點技術。人工智慧也開始被應用到動畫漫畫創作領域,日本的線稿自動上色 技術已經投入使用(內嵌在 P 站的繪圖軟體當中),早稻田大學還發表了人工智慧自動描線技術論文,看上去過不久 AI 將加入動畫製作大大提升製作效率。而 Dawago 的技術團隊發表了一篇關於利用深度學習自動製作中間幀動畫的實驗論文,實驗結果表明在中間幀動畫領域 AI 想要完全取代人類還有很長的路要走
Dwango 的技術團隊利用了 2016 年早稻田大學公開的草稿自動描線的論文內容,在此基礎上進行了一些專門為製作中間幀動畫的技術適配,使用 Google 的TensorFlow 深度學習系統,與 GTX Titan X 進行實際運算,而深度學習的數據來源是《偶像事變》的動畫製作資料,實驗的設定是通過深度學習《偶像事變》的製作資料,由 AI 自動生成相當於原作 4 倍的中間幀動畫,從實驗的結果來看通過深度學習 AI 自動生成的中間幀動畫確實讓動畫更加流暢,但是在中間幀動畫作畫精度方面,AI 還有很大的不足,實驗結果視頻中角色的手繪突然糊掉甚至消失,身體部位會發生異常的彎曲。在製作精度方面還有很大的改善空間,最後實驗論文給出的結論是 「通過深度學習讓機器從原畫直接進行中間幀動畫的製作團隊認為是很困難的,深度學習未必能夠促進動畫製作效率化,但是在每秒 24 幀以上的動畫製作與慢動作畫面製作方面深度學習可能會有很大幫助」,因為這種慢動作畫面以及每秒 24 幀以上的動畫,需要龐大數量的中間幀動畫,有朝一日 AI 可以在這些特殊畫面的製作上發揮自己的能力