video-analyzer
V
Video Analyzer
简介 :
video-analyzer是一个视频分析工具,它结合了Llama的11B视觉模型和OpenAI的Whisper模型,通过提取关键帧、将它们输入视觉模型以获取细节,并结合每个帧的细节和可用的转录内容来描述视频中发生的事情。这个工具代表了计算机视觉、音频转录和自然语言处理的结合,能够生成视频内容的详细描述。它的主要优点包括完全本地运行无需云服务或API密钥、智能提取视频关键帧、使用OpenAI的Whisper进行高质量音频转录、使用Ollama和Llama3.2 11B视觉模型进行帧分析,以及生成自然语言描述的视频内容。
需求人群 :
目标受众为视频内容分析者、视频编辑、研究人员以及任何需要从视频中提取详细信息的用户。这个工具适合他们因为它提供了一种自动化的方式来分析视频内容,节省了手动分析的时间和努力,并且可以提供比传统方法更深入的洞察。
总访问量: 474.6M
占比最多地区: US(19.34%)
本站浏览量 : 246.7K
使用场景
视频内容创作者使用video-analyzer生成视频摘要,提高内容生产的效率。
研究人员利用该工具分析视频数据,进行行为模式研究。
教育机构使用video-analyzer来创建教学视频的详细描述,辅助视障学生学习。
产品特色
完全本地运行,无需云服务或API密钥
利用openrouter的LLM服务提高速度和规模
从视频中智能提取关键帧
使用OpenAI的Whisper进行高质量音频转录
使用Ollama和Llama3.2 11B视觉模型进行帧分析
生成自然语言描述的视频内容
自动处理音质不佳的音频
详细JSON输出分析结果
通过命令行参数或配置文件高度可配置
使用教程
1. 克隆仓库:git clone https://github.com/byjlw/video-analyzer.git
2. 进入项目目录:cd video-analyzer
3. 创建并激活虚拟环境:python3.11 -m venv .venv
4. 激活虚拟环境:source .venv/bin/activate (Windows用户使用.venv\Scripts\activate)
5. 安装包:pip install . (常规安装)或 pip install -e . (开发安装)
6. 安装FFmpeg:根据操作系统使用相应的命令安装FFmpeg
7. 安装Ollama并拉取默认视觉模型:ollama pull llama3.2-vision
8. 启动Ollama服务:ollama serve
9. 使用video-analyzer分析视频:video-analyzer path/to/video.mp4
10. (可选)如果使用OpenRouter,获取API密钥并配置使用
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase