龙一分享阿里开源图片生成视频AI工具I2VGen-XL,免费好用
嘿,各位,我是龙一呀,一直着重对AI轻创副业项目予以分享呢,今儿个要给大伙讲一款阿里在不久前推出的,属于开源属性的,能把图片生成视频的Ai工具哟,现阶段它能够免费去使用哒,不存在使用次数方面的限定呢,其呈现出来的效果相当不错呀,真的得讲比其他的好太多啦。
能够依据用户所输入的静态图像以及文本,去生成目标较为接近、语义一样的视频,所生成的视频具备高清(1280 乘以 720),宽屏(16 比 9),时序连贯,质感良好等特性。
一款名为 -XL 的项目,它归属于阿里达摩院所研发,是关于高清视频生成的基础模型,其目标乃解决依据输入图像来生成高清视频这一任务,生成的视频具备支持二次修改以及高清化的特性,倘若你感觉不满意,能够多次点击以重新生成,要是内容不如意,还能够输入提示词去调整视频内容、运镜、运动方向等,进而输出高清视频。
参数量总计大概约37亿,具体的原理是这样的,总结起来分成两个阶段,先是经由输入图片去生成图片序列,随后能够凭借文字来进行微调进而生成高清图片。
把下面具体生成的案例展示出来,因文章没办法放进视频里,我将选择插入gif图片,如此一来展示效果会大幅度降低,要是想弄完整且高清的,能够去我的视频号查看最新视频作介绍。左边呈现的是原图,右边是生成后的效果 。

支持自行配置部署,然而面向设备存在较高要求。-XL涵盖两个模型,其一为图片生成视频模型MS-,其二是视频生成视频模型MS-。
MS-建立于之上,像所给出的原理图那样,借由专门设计的时空UNet,在隐空间里开展时空建模,再经解码器重建出最终视频。
于1*A100的环境配置状况里开展运行操作,此操作能够以单卡形式运行,其中图生视频模型对于显存有着20G的要求,视频生成视频这一情况对于显存则有着28G的要求 。
# 安装miniconda使用wget工具,去获取,位于https://repo.anaconda.com/miniconda/ 的Miniconda3-latest-Linux-x86_64.sh文件 。# 一直[ENTER], 最后一个选项yes即可运行名为 sh 的 Miniconda3 最新版 Linux x86_64 架构的安装脚本.sh ,对吗? ,是这样吗? ,对吧? 。# conda虚拟环境搭建conda create --name ms-sft python=3.8conda activate ms-sft# 安装最新的ModelScopepip install "modelscope" 执行升级操作,采用指定的方式,从该特定网址获取相关内容,也就是https://pypi.org/project/modelscope/ ,进行更新 。# 明确你的系统之中是安装了在那ffmpeg命令的,要是没有的话,能够借助以下这些命令去进行安装 。sudo apt-get update && apt-get install ffmpeg libsm6 libxext6 -y# 安装依赖库pip install xformers==0.0.20pip install torch==2.0.1pip install torchsdepip install open_clip_torch>=2.0.2pip install opencv-python-headlesspip install opencv-pythonpip install einops>=0.4pip install rotary-embedding-torchpip install fairscalepip install scipypip install imageiopip install pytorch-lightning
下载好模型,模型链接后台回复Ai视频即可获取。
通过以下代码,实现模型的下载和推理。
第一步:图生视频 (所需显存单卡20G)
from modelscope.pipelines import pipelinefrom modelscope.outputs import OutputKeyspipe = pipeline(task="image-to-video", model='damo/Image-to-Video', model_revision='v1.1.0')# IMG_PATH:你所拥有的图像路径(网址或者本地文件) 。IMG_PATH = './example.png'这段内容似乎不完整,请补充完整以便进行准确改写 。目前仅这部分难以按要求完成改写呀 。'./output.mp4')[OutputKeys.OUTPUT_VIDEO]print(output_video_path)

第二步:提升视频分辨率 (所需显存单卡28G)
管状物 = 管道(该任务为 “视频转换成视频"),模型 = '达摩/视频转视频’,模型修订版本号 = 'v1.1.0' 。
# VID_PATH: your video path
您提供的内容似乎出现了错误,#TEXT并不是一个完整的句子呀,请您检查一下,重新给我正确的内容以便我进行改写 。
VID_PATH = './output.mp4'
有可爱至极的一只小狐狸,那小狐狸正处于花丛之中,花丛里有可爱至极的一只小狐狸。 "
p_input = {
'video_path': VID_PATH,
'text': TEXT
}
产出视频路径 等于 管道 对 输入内容 进行处理 并 将输出视频 设置为 './output.mp4' 后 所得到的结果 中 对应输出视频键值 为 OutputKeys.OUTPUT_VIDEO 的那一项内容 。
print(output_video_path)
倘若自身并不打算进行部署,而是想着不付出任何就想获取的男性同胞,在公众号的后台进行关键词回复Ai视频从而去获取体验链接 。
其他更多Ai干货看我往期作品!
好了,内容分享截至此处完毕了,我是龙一,会持续给大家分享AI与自媒体方面的干货,还请大家多多予以关注并点赞!
整理不易《点赞+在看》感谢,请大家动动发财的小手


欢迎 你 发表评论: