自拍的視頻也能轉(zhuǎn)換成高清動漫臉，這個 AI 能夠在線玩了！

多達數(shù)十種肖像風(fēng)格，并且支持高分辨率，生成的視頻是醬嬸的～

比如想生成 " 迪士尼 " 卡通風(fēng)格：

又或者想生成游戲里的角色風(fēng)格：

這是生成的皮克斯動畫風(fēng)格的效果：

這是南洋理工大學(xué)開源的一個叫 VToonify 的框架，目前在 Huggingface 和 Colab 上都可以運行，一作還是北大博士。

看完上面的示例，是不是心癢癢了，下面有詳細教程手把手教你怎么玩，還不快學(xué)起來！

在線可玩

VToonify 的操作可以說非常簡單易上手了。

首先，選取你喜歡的卡通風(fēng)格，公主風(fēng)、肌肉風(fēng)、大眼特效……還有 5 種插圖風(fēng)供你選擇。

其次，上傳包含正臉的視頻（或圖像），點擊一鍵縮放，這一步是為了避免 CPU/GPU 過載，不過不用擔(dān)心，不會對最后生成視頻的質(zhì)量有影響。

除此之外，還可以對上傳視頻的尺寸進行裁剪或填充。

接下來，只需等待十幾秒，即可得到最終的高清版卡通肖像。

而且，如果對 " 美顏程度 " 不滿意，還可以后期調(diào)整。

那么，如此神奇的效果，背后的原理是什么呢？

集成兩種框架

要講明白 VToonify 風(fēng)格轉(zhuǎn)移的原理，就不得不提到StyleGAN，很多圖像風(fēng)格遷移框架都是以這個模型為基礎(chǔ)的。

基于 StyleGAN 的方法也被稱作圖片卡通化，它將人臉編碼到潛在空間中，然后再將生成的代碼應(yīng)用到被藝術(shù)肖像數(shù)據(jù)集調(diào)整后的 StyleGAN，最終生成不同風(fēng)格的肖像圖。

重要的是，它可以生成 1024*1024高分辨率的圖像。

但 StyleGAN 在調(diào)整肖像的風(fēng)格時，需要在固定的尺寸下進行，而且不完整的面孔以及一些奇怪的手勢都會對它的效果產(chǎn)生影響，因此 StyleGAN 對動態(tài)肖像是不太友好的。

這時，就需要再介紹另外一種圖像轉(zhuǎn)換框架了——采用卷積網(wǎng)絡(luò)的圖像轉(zhuǎn)換框架，它能夠很好地忽略在測試階段圖像大小和人臉位置的限制（與 StyleGAN 完全互補了）。

說回 VToonify，它集兩個框架的大成于一身，成為一個全新的混合框架。

研究人員刪除了 StyleGAN 固定大小的輸入特性和低分辨率層，然后創(chuàng)建了創(chuàng)建了一個完全卷積的編碼器生成器架構(gòu)。

具體來說，就是將 StyleGAN 模型集成到生成器中，將模型和數(shù)據(jù)結(jié)合起來，從而它的樣式修改特性由 VToonify 繼承。

并且，作為生成器的 StyleGAN 對編碼器進行訓(xùn)練，可以大大減少訓(xùn)練時間和難度。

值得一提的是，該研究團隊在今年 3 月就曾開發(fā)過一款圖像風(fēng)格轉(zhuǎn)移 AI：模仿大師（Pastiche Master），基于 DualStyleGAN 的框架，能夠靈活控制風(fēng)格并修改風(fēng)格度。

而這次研究團隊推出 VToonify，不僅繼承了 DualStyleGAN 的優(yōu)點，并且通過修改 DualStyleGAN 的風(fēng)格控制模塊將這些特性進一步擴展到視頻。

研究團隊

VToonify 的研究團隊全部來自南洋理工大學(xué)。

論文一作楊帥，是南洋理工大學(xué)的研究員，主要研究方向是圖像生成和圖像編輯，本科和博士均就讀于北京大學(xué)。

通訊作者呂健勤，是南洋理工大學(xué)計算機科學(xué)與工程學(xué)院的副教授，也是香港中文大學(xué)客座副教授，其研究方向主要為計算機視覺和深度學(xué)習(xí)。