Agents-Flex

Агенты-Flex

Agents-Flex — это Java-фреймворк для создания и развертывания приложений с большой языковой моделью (LLM). Он стремится быть легким, простым и элегантным, обеспечивая сплоченный набор компонентов для стыковки, оркестровки и расширения возможностей LLM в различных моделях и источниках данных.

Обзор

• Поддерживает общие языковые модели на рынке.
• Совместим с моделью развертывания Ollama.
• Встроенные сетевые протоколы (HTTP, SSE, WS) для стыковки различных моделей.
• Предназначен для простой интеграции и расширения разработчиками.

Основные способности

Модель стыковки и протоколы

• Гибкая модель стыковки между несколькими поставщиками LLM.
• Поддержка сетей через HTTP, Server-Sent Events (SSE) и WebSockets (WS) для связи с моделями и службами.

Быстрые рамки и шаблоны

• Предоставляет множество шаблонов разработки LLM.
• Поддерживает множество быстрых фреймворков, таких как FEW-SHOT, CRISPE, BROKE, ICIO и т. Д.
• Настраиваемые шаблоны для подгонки уникального контента и рабочих процессов.

Функция Calling

• Компонент Advanced Function Calling с поддержкой:
• Определения местных методов
• Парсинг и обратные вызовы через LLM
• Выполнение локальных методов для получения результатов

Обработка документов

• Загрузка документов, разбор и разделение через выделенные компоненты.
• Несколько реализаций для загрузки данных из Интернета, локальных файлов, баз данных и различных типов данных.

Память и контекст

• Модуль памяти разделен на MessageMemory (сообщения чата) и ContextMemory (контексты выполнения цепи).
• Расширяется через наследование, чтобы обеспечить более богатую функциональность.

Встраиваемые и векторные магазины

• Обширные возможности встраивания с расширяемой архитектурой.
• Разработчики могут реализовать свой собственный интерфейс Embedding для интеграции частных алгоритмов встраивания.
• Поддерживает несколько векторных баз данных и допускает пользовательские реализации VectorStore.

Цепи и оркестровка

• Компоненты цепи поддерживают последовательные цепи, асинхронные цепи и цепи петли.
• Облегчает обработку сложных рабочих процессов и многоступенчатое рассуждение в приложениях LLM.

Лицензирование

• Выпущено по лицензии Apache.
• Авторское право © 2022-настоящее Агенты-Флекс.

Как использовать (высокий уровень)

1. Выберите и пристыковайте желаемую модель LLM с использованием встроенных возможностей стыковки (HTTP/SSE/WS).
2. Определите подсказки с помощью доступных шаблонов или создайте пользовательские шаблоны.
3. Внедрение или зацепление функций через компонент вызова функций для локальных операций.
4. При необходимости загружайте и предварительно обрабатывайте документы, а затем встраивайте и храните векторы в Vector Store.
5. Создайте цепочку исполнения (Sequential, Async или Loop) для организации задач и вызовов моделей.
6. Используйте модули памяти для управления состоянием диалога и контекстами выполнения.

Основные характеристики

• Легкий, простой и элегантный Java-фреймворк для приложений LLM
• Гибкая модель стыковки с протоколами HTTP, SSE и WebSocket
• Поддержка Rich Prompt Framework (FEW-SHOT, CRISPE, BROKE, ICIO и т. Д.)
• Расширенный вызов функций с выполнением локального метода и обратными вызовами LLM
• Комплексный погрузчик документов, парсер и сплиттер для различных источников данных
• Отличительные модули памяти: MessageMemory и ContextMemory, с расширяемостью
• Расширяемая интеграция Embedding и Vector Store для частных встраиваний и баз данных
• Цепные компоненты: последовательные, асинхронные и петлевые цепи для сложных рабочих процессов
• Лицензия Apache с постоянной разработкой и поддержкой