# TensorRT

FasterLivePortrait是一个基于深度学习的实时肖像动画化项目。它通过使用TensorRT在RTX 3090 GPU上实现30+ FPS的实时运行速度，包括预处理和后处理，而不仅仅是模型推理速度。该项目还实现了将LivePortrait模型转换为Onnx模型，并在RTX 3090上使用onnxruntime-gpu实现约70ms/帧的推理速度，支持跨平台部署。此外，该项目还支持原生gradio app，速度提升数倍，并支持多张人脸的同时推理。代码结构经过重构，不再依赖PyTorch，所有模型使用onnx或tensorrt进行推理。

WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的产品，通过在实时语音转文字流程中集成Mistral大型语言模型（LLM）来实现与AI的无缝对话。Whisper和LLM均经过TensorRT引擎优化，以最大程度提升性能和实时处理能力。WhisperSpeech则使用torch.compile来优化。产品定位于提供超低延迟的AI实时对话体验。

SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。

Stable-Diffusion-WebUI-TensorRT是一个用于Stable Diffusion的TensorRT加速扩展，可在NVIDIA RTX GPU上实现最佳性能。该扩展需要安装并生成优化的引擎才能使用。支持Stable Diffusion 1.5和2.1版本。安装步骤请参考官方网址。使用时，可以生成默认引擎，选择TRT模型，加速生成图像。可以根据需要生成多个优化引擎。详细的使用说明和常见问题请参考官方文档。