百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

使用AI CoNR 算法,仅仅利用4张动漫图片——便可以创建舞蹈视频

zhezhongyun 2025-03-30 23:14 31 浏览

上期视频我们分享了一个AI算法,本期我们就分享一下实现代码

AI算法太牛了,利用4张图片,便可以生成惟妙惟肖的音乐舞蹈

此AI算法称之为CoNR该技术通过基于多个动画指定姿势来创建舞蹈视频。

——1——

什么是CoNR?

下面是CoNR的示意图。将目标姿势 ( Itar ) 转换为由紧凑地标数字表示的 UDP 表示 ( Ptar)

另一方面,几个动画(Sref)输入到 U-Net 格式网络,由Encoder 编码,并由 Decoder 与 UPD 表示(Ptar)一起解码。此时,通过共享多个解码器 D1 到 D3的权重来创建目标姿势动画。

CoNR

源代码 https://github.com/megvii-research/CONR

CoNR

——2——

代码实现

#@title Repo 初始化
#@markdown 克隆github上的项目repo,并安装相应的依赖。
!git clone https://github.com/megvii-research/CoNR.git
%cd CoNR
!pip install -r requirements.txt
#下载权重
/content/CoNR/weights
From: https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
To: /content/CoNR/weights/rgbadecodernet.pth
From: https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
To: /content/CoNR/weights/shader.pth
From: https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
To: /content/CoNR/weights/target_pose_encoder.pth
From: https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm
To: /content/CoNR/weights/udpparsernet.pth

Step1:首先是copy github的源代码,并安装需要的第三方包与预训练权重,这样,我们就初始化完成了整个项目。

UDP = 'double_ponytail' #@param ['double_ponytail', 'short_hair', 'self_defined']
#@markdown 下载示例超密集姿势序列
if UDP == 'short_hair':
  %cd ..
  !gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
  !unzip short_hair.zip
  !mv short_hair/ poses/
  !ls
elif UDP == 'double_ponytail':
  %cd ..
  !gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
  !unzip double_ponytail.zip
  !mv double_ponytail/ poses/
  !ls
else:
  print("Please upload your UDP sequences or poses images to /content/CoNR/poses/ .")
character = 'double_ponytail' #@param ['double_ponytail', 'short_hair', 'self_defined']
From: https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
To: /content/CoNR/double_ponytail_images.zip

Step2:代码需要选择一个超密集姿势,这里官方提供两个示例序列:`双马尾:double_ponytail`和`短发:short_hair`。当然,我们自己也可以制作自己的动漫图片,并上传自己的超密集姿势序列或者姿势图像到路径`/content/CoNR/poses/`下.

Step3:选择人物设定表,人物设定表指的是某一个人物多角度/姿势下的手绘图片。官方提供两种示例人物设定表:`双马尾:double_ponytail`和`短发:short_hair`。当然我们也可以选择`自定义:self_defined`并上传自己绘制的人物设定表到路径`
/content/CoNR/character_sheet/`下。人物设定表中的人应当是同一个人,且应当和超密集姿势序列尽可能相似,否则生成结果将不可控。例如,对于短发的超密集姿势序列,推荐您使用短发的人物设定表作为输入。

import cv2
import numpy as np
import os

path ='/content/CoNR/character_sheet/'
files= os.listdir(path)
imgs = []
for file in files:
     if not os.path.isdir(file):
          img = cv2.imread(path+"/"+file, cv2.IMREAD_UNCHANGED);
          imgs.append(img)
print("Num of character sheets:", len(imgs))
imgs = np.concatenate(imgs, 1)
cv2.imwrite('character_sheet.png', imgs)

from IPython.display import Image
Image(filename='character_sheet.png') 
!mkdir results
!python3 -m torch.distributed.launch \
--nproc_per_node=1 train.py --mode=test \
--world_size=1 --dataloaders=2 \
--test_input_poses_images=./poses/ \
--test_input_person_images=./character_sheet/ \
--test_output_dir=./results/ \
--test_checkpoint_dir=./weights/ 

Step4:图片,模型设置完成后,我们就可以进行模型的推理计算了,此模型根据输入的图片生成一系列动漫舞蹈图片,当然这些图片都是连贯的,我们只需要把这些图片使用ffmpeg来制作成视频即可,此模型运行需要很长时间,当然根据个人的电脑配置,本例程运行在Google colab上面,根据你的运行条件,每个人的运行时间不一样,当然你随时可以中断模型运行,使用模型中断前已经生成的图片,便可以制作舞蹈视频了,只是视频长度较短

!ffmpeg -r 30 -y -i ./results/%d.png -r 30 -c:v libx264 output.mp4 -r 30
from IPython.display import HTML
from base64 import b64encode
 
def show_video(video_path, video_width = 600):
  video_file = open(video_path, "r+b").read()
  video_url = f"data:video/mp4;base64,{b64encode(video_file).decode()}"
  return HTML(f"""""")
 
show_video('output.mp4')

Step5:最后,我们使用ffmpeg把模型生成的系列图片来制作成动漫视频,最后,我们预览一下生成的视频即可,当然,生成的视频,可以下载到本地,方便后期进行处理

当然也有在线版本,把人物舞蹈的视频,实时转换成动漫视频,这个可以自行尝试

Transormer模型重点介绍了encoder与decoder,有6个编码器与6个解码器组成,其Transormer模型主要应用在NLP领域,但是随着Transormer模型的大火,其模型成功应用在了CV计算机视觉领域,其Transormer模型,Vision Transormer模型,SWIN Transormer模型都会在如下专栏进行详细动画分享

相关推荐

不看必后悔!15个三星GoodLock隐藏小技巧~(上)

很多刚用三星手机的星粉们,一定对三星GoodLock这个宝藏App还不是很了解,今天就带大家一起详细去看看GoodLock这个大家族究竟有多少宝藏功能及成员呢?让我们一起来看看吧~由于Good...

惊魂幻象理智值监控WA!大字体+范围提示一目了然

一个WA助你轻松监控大幻象理智值,不再错过恢复时机这个WA用大字体实时同步我们的理智值下面的图标提示恢复宝珠的剩余次数上面的图标高亮则意味着我们在宝珠的恢复范围内我们可以将图标随意移动到适合自己观察的...

盘点十个超炫的jQuery插件(jquery插件是干什么的)

“DevExpress14.2新版发布会”即将推出。心动不如行动,赶快报名吧!我们期待与您相约。今天小编为大家搜罗了十个超酷的jQuery插件,这可以使你的网站界面更加友好。jQuery创造了令人难...

Google官方梳理,Android 多返回栈技术详解

用户通过系统返回按钮导航回去的一组页面,在开发中被称为返回栈(backstack)。多返回栈即一堆"返回栈",对多返回栈的支持是在Navigation2.4.0-alpha0...

说三星手机系统不好用,因为没有玩明白三星,三星Diy功能超强大

都说三星手机系统不好用,其实真正用起来,挺好用的三星手机系统像块没打磨的玉,默认设置是基础款,用着普通。但你要是肯花点时间,它能变得特别顺手。关键就在一个叫GoodLock的工具,它是三星自家出的...

Sam Helper三星手机用户必装神器(三星手机必装app)

SamHelper这款软件集合了三星手机主题工具当前主题o主题路径o主题安装系统设置屏幕模式o状态栏o文件o频段o暗码Lock&LabsGoodLockoGalaxyLa...

外卖套餐搭配的探索和应用(外卖套餐搭配技巧)

本文系外卖美食知识图谱系列的第三篇文章,从技术层面我们会介绍外卖套餐搭配的技术方案,包括离线、实时的套餐搭配的迭代,套餐质量评估方案,同时会介绍套餐搭配的业务应用。1.背景让用户更方便快捷地选购到满...

用几行原生JS就可以实现丝滑的元素过渡效果

作者:ConardLi大家可以看下下面这个应用的页面切换体验,是不是很丝滑~做过体验优化的朋友应该都清楚,如果用原生的CSS或者JS动画去实现,想要实现出类似的效果,不会特别简单,而且也要考...

速腾车主RNS315固件及2016年6月地图升级详细教程

本来打算买个大众原厂的地图卡,后来在网上看其实不需要原厂地图卡也可以升级,于是开始在网上收集资料,开始天真的以为只要有密匙文件修改一下就可以免费升级了,其实最主要的还是破解的固件,不知道为什么,网上找...

学习一个母词act,一次解析一串关联、复合、衍生词族

首先形义解读一下act的原始意象,A是力量与行动的开始C是范围的覆盖T是目标目的的接触与刻度合在一起,行动行为艺术力量的复合行为以下是关于act的复合词、词根词缀衍生词及其变形后的词根衍生词的详细...

优迈系统(一体化控制柜)快车调试(八)

逻辑故障和驱动故障分析段码管上显示警告码和故障码对照表警告码操作模式故障码操作模式或驱动故障AL000EPC(紧急电源管制模式)ER100DTC(门在设定时间内不能关到位)AL001COR(复位模式)...

Layui简单实现左侧菜单和Tab选项卡动态操作

<!DOCTYPEhtml><html><head><metacharset="utf-8">...

码农如何快速打造一个有设计感的网站

像我这样的程序员来说经常被“设计”这个词吓到,因为我是一名程序员而不是设计师,我拥有的是计算机学位证,另外我对ComicSans字体并不介意。(注:ComicSans字体是Win95附带...

vue3 新特性 computed、watch、watchEffect 看完就会

1、watchEffectwatchEffect侦听器是一个副作用函数,不需要指定监听的某个属性,监视的回调中用到哪个属性,就会监听哪个属性,一旦运行就会立即执行。watchEffect与com...

10个冷门但非常实用前端开发者很少用的CSS规则

许多开发者只学了基础——比如修改颜色、设置字体或创建弹性布局——就止步不前。但CSS是一门精深而多用途的语言,掌握后能帮你构建优雅、高效且无障碍的界面。无论你是从零搭建还是微调设计系统,掌握一些高...