Stepik ExplainableAI: Интерпретация моделей от ML до LLM
О курсе
Подробнее
Модели машинного и глубинного обучения часто воспринимаются как «чёрный ящик». Это снижает доверие к AI, мешает внедрению решений в бизнес и делает модели уязвимыми для ошибок. Explainable AI (XAI) решает эту проблему — позволяет понять, почему модель принимает то или иное решение. Курс является единственным на русскоязычном рынке.
На курсе вы:
получите системное понимание XAI — от основ до самых современных подходов для LLM и Transformers;
разберёте математические основы методов интерпретации и научитесь применять их на практике;
освоите ключевые XAI-инструменты: SHAP, LIME, Counterfactuals, Permutation Importance и др.;
научитесь анализировать взаимодействие признаков и внутренние представления моделей;
получите опыт работы с объяснимостью в Deep Learning (CNN, attention, концептуальные методы);
познакомитесь с подходами для анализа больших языковых моделей (LLM), включая probing и prompting;
Курс сочетает академическую строгость и практическую применимость. Каждая тема подкреплена заданиями и кейсами, а итогом станет не только понимание XAI, но и готовность внедрять объяснимость в рабочий pipeline.
Требования
Что нужно для старта
- Знание математики в рамках школьной программы
- Базовые знания высшей математики
- Опыт анализа данных при помощи языка программирования Python
- Знание основных алгоритмов классического машинного обучения
- Опыт обучения глубинных моделей при помощи pyTorch
Результат
Что вы получите
- Понимать ключевые концепции Explainable AI и терминологию области.
- Разбирать математические основы методов интерпретации.
- Применять XAI к классическим моделям (линейная/логистическая регрессия, деревья, ансамбли).
- Использовать современные методы объяснимости (Permutation Importance, SHAP, LIME, Counterfactuals и др.).
- Анализировать взаимодействие признаков и интерпретировать сложные зависимости.
- Работать с методами интерпретации в глубинном обучении: CNN, градиентные методы, attention-based, concept-based подходы.
- Анализировать внутренние представления нейросетей (PCA, Autoencoders, Logit Lens).
- Применять XAI к большим языковым моделям (LLM) и использовать probing и prompting-техники.
- Оценивать качество объяснений и выбирать подходящие методы для практических задач.
- Повышать прозрачность, надёжность и безопасность моделей в реальных проектах.
Аудитория
Для кого этот курс
- Инженеры и исследователи ML/DL, которые хотят сделать модели прозрачными;
- Специалисты по данным, работающие над внедрением AI в проекты;
- Преподаватели и студенты, желающие глубже понять внутренние механизмы моделей.
- В результате обучения вы сможете повысить прозрачность и безопасность моделей, укрепить доверие пользователей и клиентов к AI-системам и применять XAI в реальных проектах.
Содержание
21 занятиеПрограмма курса
№ТемаЧто внутри
01Введение
- О курсе
- Самопроверка по машинному обучению
02XAI: мотивация, введение, терминология
- Что и зачем?
- Терминология XAI: Введение
- Классификация методов объяснения
03Линейные интерпретируемые модели
- Интерпретируемые модели. Введение. Линейные модели.
- Линейная регрессия
- Проблемы линейной модели и их решения
- Логистическая регрессия
- GLM, GAM
- ДЗ_1: Линейные модели: веса, регуляризация и прогнозы
- Туториал: веса линейной регрессии
- Туториал: GLM и GAM на практике
04Нелинейные интерпретируемые модели
- Введение
- K-NN
- SVM
- DBSCAN
- HDBSCAN
- Наивные Байесовские модели
- Decision Tree
- Random Forest vs Decision Tree importances
- Практические тонкости Feature importances: Catboost
- Практические тонкости Feature importances: XGB и LightGBM
- MoE
- Прототипные сети: «это похоже вот на то»
- Домашнее задание: лес
- Дополнительный материал: Linear and Neural Trees
- Итог блока: три способа остаться объяснимой
- Завершающий тест по интерпретируемым моделям
05 Каузальность и линейные модели
- Каузальность как термин
- Каузальность в моделях
- IV и DML
- Базовые подходы обеспечения каузальности в MI
- Закрывающие задания: каузальность и линейные модели
06 Гетерогенные эффекты
- Средний эффект и индивидуальный
- Мета-обучатели: S, T и X
- Причинный лес и честное расщепление
- Как читать оценку и где ошибиться
- Закрывающие задания: гетерогенные эффекты
07Методы объяснений для моделей машинного обучения pt. 1
- Введение: методы объяснений
- CPO
- ICE
- PDP
- ALE
- Обобщение по пройденным методам
- CPO, ICE, PDP, ALE: тест
08Классические методы
- О блоке
- Permutation importance
- Permutation Importance: Практика
- Основы семейства SHAP-методов
- Основы семейства SHAP-методов: Практика
- LIME: Local Interpretable Model-agnostic Explanations
- LIME: Практика
- Anchors и основы семейства Counterfactual explanations
- Основы семейства Counterfactual explanations: Практика
- Обобщение и вывод
09Взаимодействие признаков
- Введение
- Значения SHAP в задаче оценки взаимодействия
- Карты взаимодействия признаков
- Статистики из ANOVA и родственные
- Чему верить
- Взаимодействие признаков: Практика
- Закрывающие задания по взаимодействию признаков
10Анализ CNN-based моделей
- Введение
- Что нужно помнить про CNN
- Learned Features [CNN] Network Dissection
- Feature Visualization: спросить у сети
- «Одна единица — одна концепция»?
- Авто-поиск, авто-объяснение, авто-жизнь. Или нет?
- Learned Features [CNN]: Практика
- Закрывающие задания: что сеть выучила
11Эвристические объяснения на основе градиента
- Gradient-based explainability: базовые градиетные методы
- Image-Specific Class Saliency | Vanilla Gradients
- Vanilla Gradients + Input x Gradient: Практика
- SmoothGrad
- А правильная ли это карта?
- Закрывающие задания: градиент как эвристика
12Объяснения на основе локализации и CAM
- От пикселей к областям
- CAM и Grad-CAM
- CAM: Практика
- Guided backpropagation
- Guided backpropagation: Практика
- Guided Grad-CAM и Grad-CAM++
- Grad-CAM: Практика
- Градиент-free CAM: Score-CAM, Ablation-CAM, Eigen-CAM
- Выбор слоя и верность карты: LayerCAM и HiResCAM
- CAM за пределами CNN: ViT и Swin
- Как сравнивать карты: insertion и deletion
- Закрывающие задания: локализация и CAM-семейство
13Объяснения от аксиом
- Перевернуть постановку
- Integrated Gradients (IG)
- Выбор baseline: чего мы на самом деле спрашиваем
- Integrated Gradients (IG): Практика
- DeepLIFT
- Rescale и RevealCancel: правила DeepLIFT
- DeepLIFT: Практика
- Layer-wise Relevance Propagation (LRP) pt. 1
- Layer-wise Relevance Propagation (LRP) pt. 2
- Layer-wise Relevance Propagation (LRP): Практика
- Атрибуция для трансформеров
- Всё это — одна chain rule
- Обобщение по градиентным методам
- Закрывающие задания: атрибуция от аксиом
14Attention-based объяснимость
- Механизм Attention. Введение. RNN
- Механизм Attention. Введение. Transformers. Basic Theory
- Attention-based Explainability
- Attention на практике: RNN
- Attention на практике: Transformers
- Больше Attention: Rollout and Flow
- Закрывающие задания: attention-based объяснимость
15Объяснение через вмешательство
- Введение
- Ablation, Occlusion и Permutation
- RISE
- Обучаемые baselines
- Объяснение DL моделей через вмешательство: практика
- Закрывающие задания: объяснение через вмешательство
- Домашнее задание: вмешательство против правды
16Начала Concept-based methods
- CXAI: Concept-based eXplainable AI. Введение
- XRAI: IG + segmentation
- XRAI: Практика
- T-CAV: Testing with Concept Activation Vectors
- T-CAV: Практика
- Concept Bottleneck Models (CBM)
- Concept Embedding Models (CEM)
- CBM & CEM: Практика
- Итоговый тест: concept-based методы
17Прикладной анализ LLM
- Анализ LLM: введение
- Анализ эмбеддингов
- Зондирование
- Анализ эмбеддингов и зондирование: практика
- Техники промптинга
- Закрывающие задания: анализ LLM
18Объяснение поведения агентов
- Введение: что есть агент
- Компонентный процесс объяснения
- Методы объяснения агентов: разбор
- Объяснение поведения агентов: практика
- Закрывающие задания: объяснение поведения агентов
19Оценка качества объяснений
- Оценка объяснений XAI
- Оценка качества объяснений
- Закрывающие задания: оценка качества объяснений
- Фреймворки и их внутренности.
- Оценка качества авто-объяснений
20Заключение и послесловие
- Осторожно: причина — не следствие
- Заключительный тест.
21Бонусы: материалы, чит-листы, открытые вебинары
- Чит-лист по важностям признаков в ансамблях.
- Туториалы
01Введение
- О курсе
- Самопроверка по машинному обучению
02XAI: мотивация, введение, терминология
- Что и зачем?
- Терминология XAI: Введение
- Классификация методов объяснения
03Линейные интерпретируемые модели
- Интерпретируемые модели. Введение. Линейные модели.
- Линейная регрессия
- Проблемы линейной модели и их решения
- Логистическая регрессия
- GLM, GAM
- ДЗ_1: Линейные модели: веса, регуляризация и прогнозы
- Туториал: веса линейной регрессии
- Туториал: GLM и GAM на практике
04Нелинейные интерпретируемые модели
- Введение
- K-NN
- SVM
- DBSCAN
- HDBSCAN
- Наивные Байесовские модели
- Decision Tree
- Random Forest vs Decision Tree importances
- Практические тонкости Feature importances: Catboost
- Практические тонкости Feature importances: XGB и LightGBM
- MoE
- Прототипные сети: «это похоже вот на то»
- Домашнее задание: лес
- Дополнительный материал: Linear and Neural Trees
- Итог блока: три способа остаться объяснимой
- Завершающий тест по интерпретируемым моделям
05 Каузальность и линейные модели
- Каузальность как термин
- Каузальность в моделях
- IV и DML
- Базовые подходы обеспечения каузальности в MI
- Закрывающие задания: каузальность и линейные модели
06 Гетерогенные эффекты
- Средний эффект и индивидуальный
- Мета-обучатели: S, T и X
- Причинный лес и честное расщепление
- Как читать оценку и где ошибиться
- Закрывающие задания: гетерогенные эффекты
07Методы объяснений для моделей машинного обучения pt. 1
- Введение: методы объяснений
- CPO
- ICE
- PDP
- ALE
- Обобщение по пройденным методам
- CPO, ICE, PDP, ALE: тест
08Классические методы
- О блоке
- Permutation importance
- Permutation Importance: Практика
- Основы семейства SHAP-методов
- Основы семейства SHAP-методов: Практика
- LIME: Local Interpretable Model-agnostic Explanations
- LIME: Практика
- Anchors и основы семейства Counterfactual explanations
- Основы семейства Counterfactual explanations: Практика
- Обобщение и вывод
09Взаимодействие признаков
- Введение
- Значения SHAP в задаче оценки взаимодействия
- Карты взаимодействия признаков
- Статистики из ANOVA и родственные
- Чему верить
- Взаимодействие признаков: Практика
- Закрывающие задания по взаимодействию признаков
10Анализ CNN-based моделей
- Введение
- Что нужно помнить про CNN
- Learned Features [CNN] Network Dissection
- Feature Visualization: спросить у сети
- «Одна единица — одна концепция»?
- Авто-поиск, авто-объяснение, авто-жизнь. Или нет?
- Learned Features [CNN]: Практика
- Закрывающие задания: что сеть выучила
11Эвристические объяснения на основе градиента
- Gradient-based explainability: базовые градиетные методы
- Image-Specific Class Saliency | Vanilla Gradients
- Vanilla Gradients + Input x Gradient: Практика
- SmoothGrad
- А правильная ли это карта?
- Закрывающие задания: градиент как эвристика
12Объяснения на основе локализации и CAM
- От пикселей к областям
- CAM и Grad-CAM
- CAM: Практика
- Guided backpropagation
- Guided backpropagation: Практика
- Guided Grad-CAM и Grad-CAM++
- Grad-CAM: Практика
- Градиент-free CAM: Score-CAM, Ablation-CAM, Eigen-CAM
- Выбор слоя и верность карты: LayerCAM и HiResCAM
- CAM за пределами CNN: ViT и Swin
- Как сравнивать карты: insertion и deletion
- Закрывающие задания: локализация и CAM-семейство
13Объяснения от аксиом
- Перевернуть постановку
- Integrated Gradients (IG)
- Выбор baseline: чего мы на самом деле спрашиваем
- Integrated Gradients (IG): Практика
- DeepLIFT
- Rescale и RevealCancel: правила DeepLIFT
- DeepLIFT: Практика
- Layer-wise Relevance Propagation (LRP) pt. 1
- Layer-wise Relevance Propagation (LRP) pt. 2
- Layer-wise Relevance Propagation (LRP): Практика
- Атрибуция для трансформеров
- Всё это — одна chain rule
- Обобщение по градиентным методам
- Закрывающие задания: атрибуция от аксиом
14Attention-based объяснимость
- Механизм Attention. Введение. RNN
- Механизм Attention. Введение. Transformers. Basic Theory
- Attention-based Explainability
- Attention на практике: RNN
- Attention на практике: Transformers
- Больше Attention: Rollout and Flow
- Закрывающие задания: attention-based объяснимость
15Объяснение через вмешательство
- Введение
- Ablation, Occlusion и Permutation
- RISE
- Обучаемые baselines
- Объяснение DL моделей через вмешательство: практика
- Закрывающие задания: объяснение через вмешательство
- Домашнее задание: вмешательство против правды
16Начала Concept-based methods
- CXAI: Concept-based eXplainable AI. Введение
- XRAI: IG + segmentation
- XRAI: Практика
- T-CAV: Testing with Concept Activation Vectors
- T-CAV: Практика
- Concept Bottleneck Models (CBM)
- Concept Embedding Models (CEM)
- CBM & CEM: Практика
- Итоговый тест: concept-based методы
17Прикладной анализ LLM
- Анализ LLM: введение
- Анализ эмбеддингов
- Зондирование
- Анализ эмбеддингов и зондирование: практика
- Техники промптинга
- Закрывающие задания: анализ LLM
18Объяснение поведения агентов
- Введение: что есть агент
- Компонентный процесс объяснения
- Методы объяснения агентов: разбор
- Объяснение поведения агентов: практика
- Закрывающие задания: объяснение поведения агентов
19Оценка качества объяснений
- Оценка объяснений XAI
- Оценка качества объяснений
- Закрывающие задания: оценка качества объяснений
- Фреймворки и их внутренности.
- Оценка качества авто-объяснений
20Заключение и послесловие
- Осторожно: причина — не следствие
- Заключительный тест.
21Бонусы: материалы, чит-листы, открытые вебинары
- Чит-лист по важностям признаков в ансамблях.
- Туториалы
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «ExplainableAI: Интерпретация моделей от ML до LLM» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Направления:Машинное обучение
Информация обновлена 21 сентября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
![[АРХИВ] Deep Learning (семестр 1, осень 2023)](https://cdn.stepik.net/media/cache/images/courses/181974/cover_bq8Ten0/442ca96b71e76542dff55bbbc4aca303.png)
![[АРХИВ] Deep Learning (семестр 1, весна 2025)](https://cdn.stepik.net/media/cache/images/courses/230362/cover_4tkfoRj/492fc6dc0234358ce905da4c4ca71bd6.jpg)
![[АРХИВ] Deep Learning (семестр 1, весна 2023): продвинутый поток](https://cdn.stepik.net/media/cache/images/courses/135003/cover_2zXJL9O/db54e2933429a4cc0c45c3035311ac6f.jpg)
![[АРХИВ] Deep Learning (семестр 2, осень 2024)](https://cdn.stepik.net/media/cache/images/courses/196142/cover_dLZWnQI/f5772a02869d297a8c6632f8c7d74b55.jpg)
