Локальная игровая площадка AI (local.ai) это нативная платформа с открытым исходным кодом для автономных экспериментов ИИ и управления выводами. Он позволяет запускать модели ИИ локально без требований графического процессора, предлагая компактный, экономичный сервер Rust и набор функций для управления, проверки и запуска моделей в средах процессора на Mac, Windows и Linux.
Ключевые способности
- Локальный вывод ИИ с поддержкой CPU и адаптивной резьбой
- Управление моделями: централизация, организация и отслеживание моделей ИИ из различных каталогов
- Проверка дайджеста: надежные проверки целостности с использованием BLAKE3 и SHA256
- Сервер выводов: быстрый запуск локального потокового сервера для моделирования выводов
- Легкий, офлайн-дизайн: <10 МБ на поддерживаемых платформах
- Кросс-платформа: MSI, EXE, AppImage, пакеты .deb для Windows, macOS и Linux
- Предстоящие функции: вывод GPU, сортировка / поиск вложенных каталогов, расширенное исследование моделей
Как использовать местную игровую площадку AI
- Установите соответствующий пакет для своей ОС (MSI/EXE для Windows, AppImage для Linux, .deb для систем на основе Debian или нативный установщик macOS).
- Запустите приложение и начните сеанс вывода 2 клика с WizardLM 7B (пример), чтобы начать работу с локальными моделями.
- Управляйте моделями: добавляйте каталоги, проверяйте дайджесты и контролируйте использование с помощью централизованного модуля управления моделями.
- Запустите Inference Server, чтобы включить отображение модели потокового стиля локально.
Платформа подчеркивает конфиденциальность и автономность работы, без необходимости облачных вызовов или аппаратного обеспечения GPU.
Особенности и модули
- Локальный вывод на основе CPU с адаптивной резьбой
- Централизованное управление моделями: организация и отслеживание моделей из любого каталога
- Проверка дайджеста: проверка целостности с использованием BLAKE3 и SHA256
- Usage-based, resumable download и каталог-агностическая организация
- Inference Server: быстрый запуск локального потокового сервера для моделирования
- Легкий след: небольшие установщики (<10 МБ на поддерживаемых платформах)
- Кроссплатформенная упаковка: MSI, EXE, AppImage и опции .deb
- Конфиденциальность: офлайн-операция без обязательной облачной зависимости
- Предстоящие улучшения: вывод GPU, обработка вложенных каталогов, расширенное обнаружение моделей и рекомендации
Что включено (лицензия и источник)
- Построен с Rust backend для производительности и эффективности памяти
- Исходный код, лицензированный в GPLv3
- Все права защищены, с акцентом на локальные, автономные эксперименты с ИИ
