

Fasterliveportrait
简介 :
FasterLivePortrait是一个基于深度学习的实时肖像动画化项目。它通过使用TensorRT在RTX 3090 GPU上实现30+ FPS的实时运行速度,包括预处理和后处理,而不仅仅是模型推理速度。该项目还实现了将LivePortrait模型转换为Onnx模型,并在RTX 3090上使用onnxruntime-gpu实现约70ms/帧的推理速度,支持跨平台部署。此外,该项目还支持原生gradio app,速度提升数倍,并支持多张人脸的同时推理。代码结构经过重构,不再依赖PyTorch,所有模型使用onnx或tensorrt进行推理。
需求人群 :
目标受众主要是深度学习开发者、图像处理研究人员和相关领域的专业人士。他们需要在实时环境中对肖像进行动画化处理,或者在跨平台部署中使用深度学习模型。FasterLivePortrait提供了高效的推理速度和灵活的部署方式,适合需要高性能和高兼容性的开发者。
使用场景
使用FasterLivePortrait在视频会议中实时展示动态肖像
将静态肖像照片转换为动态视频,用于社交媒体分享
在游戏或虚拟现实应用中实时生成动态角色肖像
产品特色
使用TensorRT在RTX 3090 GPU上实现30+ FPS的实时运行速度
将LivePortrait模型转换为Onnx模型,支持跨平台部署
支持原生gradio app,提升推理速度并支持多张人脸同时推理
代码结构重构,不再依赖PyTorch,使用onnx或tensorrt进行推理
支持Docker环境,提供可运行的镜像
支持Windows和MacOS集成包,支持一键运行
支持onnxruntime和TensorRT推理,提供详细的安装和使用指南
使用教程
1. 安装Docker并下载FasterLivePortrait的Docker镜像
2. 使用Docker命令运行FasterLivePortrait容器
3. 下载并转换Onnx模型文件,放置在检查点文件夹中
4. 安装并配置onnxruntime-gpu或TensorRT
5. 使用提供的脚本将Onnx模型转换为TensorRT模型
6. 运行app.py启动gradio app,选择onnx或tensorrt模式
7. 访问本地服务器(默认端口9870)并使用app进行实时肖像动画化