今天给大家介绍一个图片转视频的项目，这个项目包含了两部分，第一部分是根据输入的文本和图像生成视频，第二部分就是根据输入的图像和参考视频生成新的视频。这个项目结合MuseTalk可以直接生成无限制的数字人视频。还是老样子，我为大家准备了离线本地整合包(整合包在文章末尾自取)

效果示例

图片转视频

风景

提示词:

(masterpiece, best quality, highres:1), peaceful beautiful waterfall, an endless waterfall

人物

提示词：

(masterpiece, best quality, highres:1), peaceful beautiful sea scene

视频生视频

配置要求

WIN

• Windwos10/11操作系统
• 支持N卡GPU
• 推荐显存16G以上

Mac

暂不支持

使用方法

文字转视频

1. 首先输入提示文本

(masterpiece, best quality, highres:1),(1girl, solo:1),(beautiful face, soft skin, costume:1),(eye blinks:{eye_blinks_factor}),(head wave:1.3)

1. 放入图片(图片分辨率越大，生成的时间越长！！)

1. 种子参数最好默认-1（随机）

1. 视频长度和生成视频的帧率根据自身情况调整。

如果宽度和高度为-1，则使用参考图像的尺寸。目标视频的大小为 (𝑊,𝐻)∗𝑖𝑚𝑔𝑒𝑑𝑔𝑒𝑟𝑎𝑡𝑖𝑜(W,H)∗imgedgeratio。图像尺寸越小，运动幅度越大，视频质量越低。宽度和高度越大，运动幅度越小，视频质量越高。

1. 然后点击生成

效果

需要注意的是，我的视频中人物的嘴唇部位有水印一样的东西。因为使用默认的webvid训练集会有水印问题。使用没有水印的、更干净的数据集可能会解决这个问题。但是需要自行训练。（目前还未开放训练代码，所以如果你生成的跟我一样，有类似水印效果，建议换张图或者多生成几次来解决）

视频转视频

1. 输入提示词

1. 上传图片(条件图像的姿势应该与视频的第一帧相同。最好使用文本到图像工具生成目标的第一帧，其姿势与视频的第一帧相同，例如MJ, SDXL。)

1. 参考视频上传OpenPose视频

1. 其他的设置跟文生视频一样。(按需设置)