UltiHash: хранилище объектов для AI + Analytics
UltiHash — это платформа для хранения объектов, предназначенная для перезарядки рабочих нагрузок ИИ и аналитики. Он сочетает в себе современную базу данных Lakehouse с развертыванием Kubernetes, S3-совместимыми API и расширенными функциями управления данными для обеспечения высокой пропускной способности, экономичного хранения данных ИИ и крупномасштабной аналитики.
Как UltiHash помогает
- Снижает затраты на хранение, обеспечивая дедупликацию на байтовом уровне и эффективное управление данными в наборах данных ИИ и аналитики.
- Ускоряет доступ к данным с помощью высокопроизводительной архитектуры, подходящей для обучения ИИ, вывода и аналитики в реальном времени.
- Обеспечивает гибкое развертывание в облачных, локальных или гибридных средах через Kubernetes.
- Интегрируется с общими инструментами обработки данных и аналитики через S3-совместимый API, а также форматы открытых таблиц (Iceberg, Delta Lake, Hudi).
- Поддерживает основанные на политике функции управления доступом и отказоустойчивостью данных для удовлетворения потребностей в управлении и надежности.
Ключевые случаи использования
- Генеративные конвейеры данных ИИ и рабочие процессы большой языковой модели (LLM)
- Хранилища данных Retrieval-Augmented Generation (RAG) для приложений ИИ
- Компьютерное зрение, данные самоуправляемого транспортного средства и данные датчиков для рабочих нагрузок AI / ML
- Глобальная речь в тексте и другие трубопроводы обработки данных на основе ИИ
- Высокопроизводительная аналитика и архитектура Lakehouse
Как это работает
- Объектное хранилище с собственной архитектурой Kubernetes, которая может работать в облаке, локально или гибридно.
- S3-совместимый API для легкой интеграции с процессорами (Python, Airflow, Spark, Flink, Kafka, Trino, Presto).
- Слой хранения метаданных, поддерживающий открытые форматы таблиц (Iceberg, Delta Lake, Hudi) для запроса в стиле Lakehouse.
- Дедупликация на уровне байтов для минимизации избыточных данных и уменьшения общего объема хранения (до 60%).
- Эффективное масштабируемое удаление со справочным учетом для немедленного восстановления пространства, когда фрагменты больше не используются.
- Кодирование стирания (Reed-Solomon) для устойчивости данных (скоро) для защиты от потери данных.
- Управление доступом на основе политики для обеспечения контроля доступа к данным.
Архитектура Highlights
- S3-совместимый API для широкой совместимости и легкой миграции.
- Kubernetes-нативное развертывание для облачных, локальных и гибридных установок.
- Высокопроизводительный дизайн оптимизирован для рабочих нагрузок AI / ML и аналитики без добавления накладных расходов на вычисления из дедупликации.
- Масштабируемое хранилище по требованию, поддерживающее петабайты и более гибкие классы хранения.
Безопасность и соблюдение
- Встроенное управление доступом с подробными политиками для контроля того, кто может получить доступ к каким наборам данных.
- Суверенитет данных и функции управления согласуются с требованиями предприятия.
- Высокопроизводительные, эффективные операции для минимизации окон экспозиции во время задач управления данными.
Случаи использования промышленности
- Генеративный ИИ + хранение и обработка данных LLM
- ИИ-приложения на основе RAG требуют быстрого масштабируемого поиска данных
- AI-ready Data Lakehouse с поддержкой формата открытого стола
- Данные о самоуправляемых транспортных средствах и крупномасштабные наборы данных компьютерного зрения
- Глобальные текстовые и другие рабочие процессы обработки контента с поддержкой ИИ
Технический стек и возможности
- Объектное хранилище с развертыванием Kubernetes-native
- S3-совместимый API для совместимости с такими инструментами, как Python, Airflow, Spark, Flink, Kafka, Trino, Presto
- Слой метаданных, поддерживающий Айсберг, Дельта-Лейк и Худи
- Дедупликация байтового уровня для сокращения потребностей в хранении
- Эффективные операции по удалению с немедленной рекультивацией пространства
- Кодирование стирания для устойчивости данных (Coming Soon)
- Управление доступом на основе политики для гранулированной безопасности
- Высокопроизводительная архитектура, оптимизированная для рабочих нагрузок AI + Analytics
Начните сегодня
- Cloud/on-prem/гибридные варианты развертывания с Kubernetes
- Отсутствие подписи, необходимой для оценки в некоторых конфигурациях (различается по развертыванию)
- Узнайте больше об экономии, интеграции и безопасности из документов и документов UltiHash
Безопасность и правовые соображения
- UltiHash подчеркивает безопасность данных, конфиденциальность и управление; обеспечить надлежащий контроль доступа и соблюдение внутренних политик и внешних правил при хранении конфиденциальных данных.
Основные характеристики
- Развертывание Kubernetes в облачных, локальных и гибридных средах
- S3-совместимый API для простой интеграции с инструментами обработки и аналитики
- Высокопроизводительное хранилище объектов, оптимизированное для рабочих нагрузок AI + Analytics
- Дедупликация на уровне байтов для уменьшения общего объема памяти (до ~60%)
- Поддержка формата открытого стола (Iceberg, Delta Lake, Hudi) для аналитики Lakehouse
- Эффективная, немедленная рекультивация пространства при удалении данных
- Управление доступом на основе политики для гранулированной безопасности данных
- Масштабируемое, устойчивое хранилище, предназначенное для конвейеров данных ИИ
