阿里开源的根据输入内容自动裁剪视频的AI工具

2024-07-08 互联网 1177

FunClip是一个开源的视频剪辑工具,使用阿里巴巴的Paraformer系列模型进行视频的语音识别,支持多功能视频处理和定制化剪辑。

链接:https://github.com/alibaba-damo-academy/FunClip

功能概述:FunClip是一个完全开源、本地部署的自动化视频剪辑工具,支持视频中的语音识别和说话人识别,用户可以根据识别结果进行视频剪辑。
技术集成:集成了高性能的Paraformer-Large模型和CAM++说话人识别模型,提供优秀的中文语音识别能力和说话人分辨功能。
用户交互:通过Gradio界面提供用户友好的操作方式,支持在浏览器中使用,简化安装和使用流程。
安装与使用:项目提供详细的安装指南和命令行调用方法,支持多平台安装,包括自动生成字幕的高级功能。
近期更新:最新版本v1.1.0带来UI升级和多项功能改进,如输出文件目录配置和剪辑参数定制。
模型优化:支持热词定制化功能,能够在视频剪辑中提升特定词汇的识别准确率。
功能扩展:正在开发集成英文视频剪辑能力的Whisper模型和大语言模型,以扩展智能视频剪辑的功能。