Deployo — это платформа инфраструктуры ИИ, предназначенная для упрощения развертывания и производства моделей. Он предлагает облачное развертывание, масштабируемую и безопасную инфраструктуру и бесшовную интеграцию с существующими рабочими процессами ML, чтобы команды могли быстро доводить модели до производства без накладных расходов.
Обзор
Deployo позволяет командам развертывать модели машинного обучения в виде живых масштабируемых API с автоматическим распределением ресурсов и оптимизированной производительностью GPU. Он поддерживает различные цели развертывания (публичное облако, локальные, VM-дружественные среды) и стремится удалить блокировку поставщиков, предоставляя возможности, доступные для предприятий.
Ключевые способности
- Облачно-агностичное развертывание: развертывание в любом месте без жестких зависимостей или блокировки поставщика.
- Model-to-prod за считанные минуты: перейти от обучения к производству быстро, без сложных сценариев развертывания.
- Оптимизированная производительность GPU: эффективный вывод и использование ресурсов.
- Автоматическое распределение ресурсов: масштабы вычисляют вверх или вниз на основе использования; поддерживает балансировку нагрузки и пакетирование запросов.
- Бессерверные и масштабируемые опции: режимы развертывания, которые соответствуют различным рабочим нагрузкам.
- Документация конечных точек Swagger: автоматические API-доки для развернутых моделей.
- Автоматическое управление сетевой политикой и стратегии развертывания: безопасное, контролируемое воздействие API.
- Поддержка нескольких моделей: интегрируется с несколькими моделями и цепями; поддерживает пользовательские пакеты Python.
- Интеграции: веса и предубеждения и интеграция HuggingFace для оптимизации рабочего процесса.
Как это работает
- Приведите свою модель ML (любой фреймворк).
- Разверните прямо из существующего инструментария (Weights & Biases, HuggingFace и т. Д.).
- Deployo обеспечивает живой API с масштабируемыми, безопасными конечными точками и автоматическим масштабированием.
Вопросы безопасности и охраны
- Готовность предприятия к безопасной практике развертывания, политике и масштабируемой инфраструктуре. Обеспечить соответствующую обработку данных в соответствии с организационными руководящими принципами.
Основные характеристики
- Облачно-агностичное развертывание и отсутствие блокировки поставщика
- Быстрый путь от обучения к производству (минуты, а не недели)
- GPU-оптимизированный вывод и масштабируемый API-хостинг
- Автоматическое и горизонтальное/вертикальное автомасштабирование
- Распределение пакетов запросов и загрузок
- Бессерверные варианты развертывания
- Документация конечных точек Swagger для развернутых API
- Автоматическое управление сетевой политикой и стратегии развертывания
- Многомодельная поддержка с цепями и пользовательскими пакетами Python
- Интеграция с Весами и Биазами и HuggingFace
- Опции развертывания на Премии и VM-дружественные
