Captum · Model Interpretability for PyTorch

Captum — интерпретируемость моделей для PyTorch это библиотека с открытым исходным кодом для исследований интерпретируемости, которая позволяет исследователям и инженерам понимать и оценивать прогнозы нейронных сетей по таким модальностям, как зрение и текст. Captum поддерживает большинство моделей PyTorch с минимальной модификацией и предоставляет гибкий API для реализации и оценки алгоритмов атрибуции. Проект подчеркивает расширяемость, воспроизводимость и простоту интеграции в существующие рабочие процессы PyTorch.

Обзор

• Мультимодальная интерпретируемость: поддерживает интерпретируемость по различным модальностям данных (например, видение, текст).
• На основе PyTorch: предназначен для бесшовной работы с моделями и рабочими процессами PyTorch.
• Расширяемая и открытая библиотека, которая позволяет исследователям внедрять и тестировать новые алгоритмы атрибуции.
• Воспроизводимые примеры: включает в себя учебные пособия и исполняемые фрагменты кода, чтобы помочь пользователям быстро начать работу.

Как начать работу

1. Установить Captum (рекомендуется через conda):

• conda install captum -c pytorch
• или через pip: pip install captum

1. Создать и подготовить модель в PyTorch и переключите его в режим оценки: используйте простой пример, например, небольшую сеть пересылки или любую пользовательскую модель.
2. Определение входных и исходных тензоров для сравнения результатов модели с исходным уровнем (например, нулями).
3. Выберите и примените алгоритм атрибуции (например, интегрированные градиенты) для вычисления атрибутов.
4. Проверить результаты чтобы понять, какие особенности внесли наибольший вклад в прогнозирование и анализ поведения конвергенции.

Пример (интегрированные градиенты)

• Создайте игрушечную модель и установите ее в режим eval.
• Исправьте случайность для детерминированных результатов.
• Определение входных и исходных тензоров.
• Обосновать алгоритм атрибуции (например, IntegratedGradients).
• Вычислительные атрибуты и дельта конвергенции.
• Печать или визуализация результатов.

Учебники и документы

• Введение
• Начало работы
• Учебники
• Ссылка API
• Правовая, приватность, условия
• Сообщество и лицензия: © 2025 Facebook Inc.

Основные характеристики

• Интерпретируемость на основе PyTorch: интеграция с существующими моделями PyTorch и учебным кодом
• Поддерживает несколько алгоритмов атрибуции (например, Интегрированные градиенты, другие), чтобы приписывать предсказания входным функциям
• Работает с различными модальностями (видение, текст и т.д.)
• Детерминированные рабочие процессы с контролем семян для воспроизводимых результатов
• Легкий API, предназначенный для простых экспериментов и бенчмаркинга новых методов
• Всесторонние учебные пособия и ссылки API для быстрой посадки на борт
• Открытый исходный код и расширяемый: легко внедрять и тестировать новые методы атрибуции