Clips AI

Clips AI | AI Video Repurposing для разработчиков это библиотека Python с открытым исходным кодом, которая автоматически преобразует длинноформатное видео в клипы. С помощью всего нескольких строк кода вы можете сегментировать видео на несколько клипов и изменить его соотношение сторон с 16:9 до 9:16. Инструмент предназначен для аудиоцентричных, основанных на повествовании видео, таких как подкасты, интервью, речи и проповеди. Его алгоритм вырезания анализирует транскрипт видео для идентификации и создания клипов, в то время как его алгоритм изменения размера динамически переформатирует видео, чтобы сосредоточиться на текущем динамике, преобразуя видео в различные соотношения сторон.

Быстрый старт

1. Установите зависимости от Python. Мы настоятельно рекомендуем использовать виртуальную среду (например, venv), чтобы избежать конфликтов зависимости.
2. Установите Clips AI:

• pip install clipsai
• pip install whisperx@git+https://github.com/m-bain/whisperx.git

1. Установите libmagic и FFmpeg.

Как использовать

Создание клипов

Поскольку клипы можно найти с помощью транскрипта видео, видео должно быть сначала транскрибировано. Расшифровка выполняется с помощью WhisperX, обертки с открытым исходным кодом на Whisper с дополнительной функциональностью для обнаружения времени начала и остановки для каждого слова.

• Пример потока:
• Transcriber → transcribe(audio_file_path = «/abs/path/to/video.mp4»)
• ClipFinder → find clips (транскрипция = транскрипция)
• Доступ к клипу start time и end time из полученного списка клипов

Изменение размера видео

Чтобы изменить размер оригинального видео до желаемого соотношения сторон, токен доступа Hugging Face необходим для использования Pyannote для диаризации динамика. За использование Pyannote не взимается плата; инструкции доступны на странице Pyannote HuggingFace.

• Пример потока:
• resize(video_file_path = «/abs/path/to/video.mp4», pyannote_auth_token = «pyannote_token», aspect_ratio = (9, 16))
• Функция возвращает культуры с сегментами, которые указывают, как было изменено размер видео

Детали установки

• Установка зависимостей Python в виртуальной среде
• pip install clipsai
• pip install whisperx@git+https://github.com/m-bain/whisperx.git
• Установите libmagic
• Установить FFmpeg

Что он анализирует

• Вырезка на основе транскрипта с использованием WhisperX для обнаружения меток времени слов
• Диаризация динамика (для изменения размера) с использованием Pyannote (требуется токен HuggingFace)

Результаты

• Набор клипов со временем начала и конца, полученных из анализа транскриптов
• Посевы для обрезки/размера видео, выровненные с фокусом громкоговорителя для 9:16 или других соотношений сторон

Как это работает

• Импорт: from clipsai import ClipFinder, Transcriber
• Транскрипт: transcriber = Transcriber() затем transcription = transcriber.transcribe(audio_file_path = "/abs/path/to/video.mp4")
• Обнаружение клипов: clipfinder = ClipFinder() затем clips = clipfinder.find_clips(transcription = transcription)
• Размер: crops = resize(video_file_path = "/abs/path/to/video.mp4", pyannote_auth_token = "pyannote_token", aspect_ratio = (9, 16))

Безопасность и правовые соображения

• Убедитесь, что у вас есть права на обработку и повторное использование видеоконтента. Уважайте конфиденциальность и лицензирование при распространении клипов.

Основные характеристики

• Библиотека Python с открытым исходным кодом для автоматического снятия видео с транскриптов
• Клипы, основанные на синхронизации транскриптов (обнаружение старта/стопа на уровне слов через WhisperX)
• Соотношение сторон (например, от 16:9 до 9:16) с ориентированной на динамик обрезкой с использованием Pyannote
• Простой интерфейс для разработчиков для интеграции в трубопроводы
• Поддержка длинных видео, таких как подкасты, интервью, речи и проповеди
• Инсталляция зависимостей через pip; рекомендуется виртуальная среда
• Требования к FFmpeg и libmagic для обработки мультимедиа