Framer 是一款创新的帧插值工具,结合预训练扩散模型与关键点轨迹控制,为用户提供精确的运动过渡定制化能力,上传首尾帧图片,就可以生成首尾帧过渡视频。通过交互式控制和自动优化功能,它在复杂运动场景和显著外观变化情况下实现高质量、自然的视觉效果。
注意:此模型只支持生成512×320宽高分辨率的视频
软件功能:
交互式帧插值:支持用户通过关键点和轨迹的自定义调整,实现精确的局部运动控制。
自动驱动模式:自动检测关键点位置并优化运动轨迹,生成自然且时序一致的结果。
扩散模型驱动:利用预训练的 Stable Video Diffusion 模型,实现帧插值过程中的高分辨率和视觉一致性。
复杂场景处理:能够有效应对复杂的物体运动、形状变化和风格差异。
高效可视化:提供直观的交互界面,实时调整关键点与轨迹,实现即调即见的效果优化。
应用场景:
影视制作:在电影或视频制作中,通过帧插值增强慢动作效果或修复不连续的帧过渡。
动画创作:帮助动画师在两帧之间快速生成自然的中间过渡帧。
学术研究:支持计算机视觉领域的时序分析和运动模拟研究。
游戏开发:优化角色动画的流畅性,提升游戏体验。
视觉内容优化:修复低帧率视频或增强短视频的动态表现力,用于社交媒体和创意设计场景。
配置要求:
电脑满足以下配置:
操作系统:Windows 10/11 64位
显卡:至少8G显存的英伟达(NVIDIA)显卡
CUDA >= 12.1
整个包解压完约41.9G,要留足硬盘空间
电脑如未安装CUDA可以查看安装教程:https://www.rjgcz.com/10135.html
如何查看显卡品牌型号和显存:
打开任务管理器
点击“性能”
点击“GPU”
右上角可以看到显卡型号,下方可以看到显存大小
使用教程:
① 下载整合包之后解压;
注意:文件夹路径和文件名称(包括音频、图片、视频等文件名称)不要出现中文字符,否则部分软件会因识别不出而报错
② 双击“一键启动.bat”,稍等片刻会在浏览器中自动打开操作界面
③ 上传起始帧和结束帧图片(图片会被自动调整为 512×320 像素),点击”添加新轨迹”按钮开始绘制运动轨迹,在图片上点击以添加轨迹点(添加每条轨迹点击一次“添加新轨迹”),调整控制强度和运动幅度参数,点击”运行”生成视频
注意:此模型只支持生成512×320宽高分辨率的视频
④ 下方会生成结果预览
⑤ 生成结果在文件包中的“outputs”文件夹中
生成结果:
开源地址:https://github.com/aim-uofa/Framer