Оригинальное название: Realtime AI Audio Enhancement это встроенное решение для улучшения звука в реальном времени, предназначенное для производителей и разработчиков аудио аппаратного и программного обеспечения. Он обеспечивает сверхбыструю обработку звука на основе ИИ (до 10 миллисекунд за операцию), которая может быть интегрирована в широкий спектр устройств и программного обеспечения для удаления шума, подавления реверберации, повышения голоса и выделения стеблей из музыки. Предназначенный для низкого использования процессора / памяти, он обеспечивает высококачественное улучшение звука непосредственно на конечных устройствах без облачной обработки.
Как это работает
- Обработка аудио в режиме реального времени с помощью легких моделей (всего 242 КБ до нескольких МБ), которые работают локально на оборудовании или в программном обеспечении.
- Основные возможности включают Noise Removal, Echo / Room Reverb Removal и Stem Separation для разделения вокала, фортепиано, баса и барабанов в музыке.
- Высококодифицированные, обучаемые и адаптируемые модели ИИ, адаптированные для потребительской электроники, профессионального аудио программного обеспечения, слуховых аппаратов, конференц-связи и потоковых приложений.
- Предназначен для простой интеграции с минимальной нагрузкой на НИОКР, что позволяет настраивать под конкретные потребности продукта.
Случаи использования
- Голосовое общение и общение с более четкой речью.
- Слуховая помощь и вспомогательные устройства прослушивания.
- Музыкальное производство и программное обеспечение для живых выступлений, требующее разделения стеблей в реальном времени.
- Потребительская электроника и аппаратное обеспечение со встроенным улучшением аудио AI.
Как использовать HANCE (обзор)
- Оцените свои требования к аппаратному и программному обеспечению и выберите подходящий размер модели HANCE.
- Интегрируйте API HANCE в свой продукт (API доступен для C++ и Python; запланировано больше языков).
- Настройте подавление шума, удаление реверберации, улучшение голоса и разделение стеблей в соответствии с вашим вариантом использования.
- Развертывание на целевых устройствах и тестирование в сценариях реального времени; мониторинг использования процессора / памяти и качества звука.
API и интеграция
- Легкий, CPU-эффективный встроенный аудио движок AI.
- Документация и поддержка API для быстрой интеграции.
- Настраиваемые модели ИИ для соответствия конкретным аппаратным возможностям и потребностям развертывания.
- Обработка на устройстве обеспечивает конфиденциальность данных и снижает задержку.
Вопросы безопасности и конфиденциальности
- Обработка на устройстве минимизирует передачу данных, повышая конфиденциальность.
- Правильно настроить модели, чтобы избежать непреднамеренного захвата данных или прослушивания рисков.
- Обеспечить соблюдение соответствующих правил защиты данных при обработке голосовых данных в продуктах.
Основные характеристики
- Улучшение аудио в реальном времени с скоростью обработки до 10 мс
- Удаление шума для более четкой голосовой связи
- Удаление реверберации Echo/Room для улучшения разборчивости
- Stem Separation (вокал, фортепиано, бас, барабаны) для музыкальных приложений
- Ультралегкие размеры модели (всего 242 КБ; библиотека до ~5 МБ)
- Низкий уровень процессора и памяти, подходящий для встроенного развертывания
- Настраиваемые модели ИИ для удовлетворения потребностей в оборудовании и программном обеспечении
- Легкая интеграция с C++ и Python API (планируется больше языков)
- Обработка на устройстве с сильными преимуществами конфиденциальности
