ExplainableAI: Интерпретация моделей от ML до LLM

ExplainableAI: Интерпретация моделей от ML до LLM

ФорматОнлайн

Длительность5

Объём27 занятий

О курсе

Подробнее

Модели машинного и глубинного обучения часто воспринимаются как «чёрный ящик». Это снижает доверие к AI, мешает внедрению решений в бизнес и делает модели уязвимыми для ошибок. Explainable AI (XAI) решает эту проблему — позволяет понять, почему модель принимает то или иное решение. Курс является единственным на русскоязычном рынке. На курсе вы: получите системное понимание XAI — от основ до самых современных подходов для LLM и Transformers; разберёте математические основы методов интерпретации и научитесь применять их на практике; освоите ключевые XAI-инструменты: SHAP, LIME, Counterfactuals, Permutation Importance и др.; научитесь анализировать взаимодействие признаков и внутренние представления моделей; получите опыт работы с объяснимостью в Deep Learning (CNN, attention, концептуальные методы); познакомитесь с подходами для анализа больших языковых моделей (LLM), включая probing и prompting; Курс сочетает академическую строгость и практическую применимость. Каждая тема подкреплена заданиями и кейсами, а итогом станет не только понимание XAI, но и готовность внедрять объяснимость в рабочий pipeline.

Требования

Что нужно для старта

Знание математики в рамках школьной программы
Базовые знания высшей математики
Опыт анализа данных при помощи языка программирования Python
Знание основных алгоритмов классического машинного обучения
Опыт обучения глубинных моделей при помощи pyTorch

Результат

Что вы получите

Понимать ключевые концепции Explainable AI и терминологию области.
Разбирать математические основы методов интерпретации.
Применять XAI к классическим моделям (линейная/логистическая регрессия, деревья, ансамбли).
Использовать современные методы объяснимости (Permutation Importance, SHAP, LIME, Counterfactuals и др.).
Анализировать взаимодействие признаков и интерпретировать сложные зависимости.
Работать с методами интерпретации в глубинном обучении: CNN, градиентные методы, attention-based, concept-based подходы.
Анализировать внутренние представления нейросетей (PCA, Autoencoders, Logit Lens).
Применять XAI к большим языковым моделям (LLM) и использовать probing и prompting-техники.
Оценивать качество объяснений и выбирать подходящие методы для практических задач.
Повышать прозрачность, надёжность и безопасность моделей в реальных проектах.

Аудитория

Для кого этот курс

Инженеры и исследователи ML/DL, которые хотят сделать модели прозрачными;
Специалисты по данным, работающие над внедрением AI в проекты;
Преподаватели и студенты, желающие глубже понять внутренние механизмы моделей.
В результате обучения вы сможете повысить прозрачность и безопасность моделей, укрепить доверие пользователей и клиентов к AI-системам и применять XAI в реальных проектах.

Содержание

Программа курса

27 занятий

№ТемаЧто внутри

01Введение

- О курсе
- Тест по машинному обучению

02XAI: мотивация, введение, терминология

- Что и зачем?
- Терминология XAI: Введение
- Классификация методов объяснения

03Линейные интерпретируемые модели

- Интерпретируемые модели. Введение. Линейные модели.
- Линейная регрессия
- Проблемы линейной модели их решения
- Логистическая регрессия
- GLM, GAM
- ДЗ_1: Линейные модели: веса, регуляризация и прогнозы

04Нелинейные интерпретируемые модели

- Введение
- K-NN
- SVM
- DBSCAN
- HDBSCAN
- Наивные Байесовские модели
- Decision Tree
- Random Forest vs Decision Tree importances
- Практические тонкости Feature importances: Catboost
- Практические тонкости Feature importances: XGB и LightGBM
- MoE
- Домашнее задание: лес
- Завершающий тест по интерпретируемым моделям
- Дополнительный материал: Linear and Neural Trees

05Каузальность и интерпретируемость

- Каузальность как термин
- Каузальность в моделях
- IV и DML
- Базовые подходы обеспечения каузальности в MI.

06Методы объяснений для моделей машинного обучения pt. 1

- Введение: методы объяснений
- CPO
- ICE
- PDP
- ALE
- Обобщение по пройденным методам
- CPO, ICE, PDP, ALE: тест

07Методы объяснения для моделей машинного обучения pt. 2

- О блоке
- Permutation importance
- Permutation Importance: Практика
- SHAP
- SHAP: Практика
- LIME
- LIME: Практика
- Counterfactual explanations
- Counterfactual explanations: Практика

08Взаимодействие признаков

- Введение
- Карты взаимодействия признаков
- Значения SHAP в задаче оценки взаимодействия
- H-статистика Фридмана
- Взаимодействие признаков: Практика

09Методы объяснения в DL pt.1 CNN

- Введение
- Понимание архитектур
- Learned Features [CNN] Визуализация карт активации
- Learned Features [CNN] Network Dissection
- Learned Features [CNN]: Практика

10Методы объяснения в DL pt.2 Gradient-based 1

- Gradient-based explainability | Saliency Maps
- Image-Specific Class Saliency | Vanilla Gradients
- Vanilla Gradients + Input x Gradient: Практика
- CAM и GradCAM
- CAM: Практика
- Guided backpropagation
- Guided backpropagation: Практика
- Guided GradCAM и GradCAM++
- GradCAM: Практика
- SmoothGrad

11Методы объяснения в DL pt.2 Gradient-based 2

- Integrated Gradients (IG)
- Integrated Gradients (IG): Практика
- DeepLIFT
- DeepLIFT: Практика
- Layer-wise Relevance Propagation (LRP) pt. 1
- Layer-wise Relevance Propagation (LRP) pt. 2
- Layer-wise Relevance Propagation (LRP): Практика
- Обобщение по градиентным методам

12Методы объяснения в DL pt.3 Concept-based methods

- CXAI: Concept-based eXplainable AI. Введение
- XRAI: IG + segmentation
- XRAI: Практика
- T-CAV: Testing with Concept Activation Vectors
- T-CAV: Практика
- Concept Bottleneck Models (CBM)
- Concept Embedding Models (CEM)
- CBM & CEM: Практика

13Методы объяснения в DL pt.4 Attention-based Explainability

- Механизм Attention. Введение. RNN
- Механизм Attention. Введение. Transformers. Basic Theory
- Attention-based Explainability
- Attention на практике: RNN
- Attention на практике: Transformers
- Больше Attention: Rollout and Flow

14Прикладной анализ LLM

- Анализ LLM: введение
- Анализ эмбеддинггов
- Зондирование
- Анализ эмбеддингов и зондирование: практика
- Promting техники

15Объяснение поведения агентов

- Введение: что есть агент
- Компонентный процесс объяснения

16Оценка качества объяснений

- Оценка объяснений XAI
- Оценка качества объяснений

17Заключение и послесловие

- Будь осторожен — причина — не следствие
- Заключительный тест.

18Бонусы: материалы, чит-листы, открытые вебинары

- Чит-лист по важностям признаков в ансамблях.
- Туториалы

19Объяснение DL моделей через вмешательство

- Ablation, Occlusion и Permutation
- RISE
- Объяснение DL моделей через вмешательство: практика

20Атаки на объяснения

Подробности будут доступны на странице курса

21ЧЕРНОВИК · Взаимодействие признаков (заменит §8)

- Введение
- Карты взаимодействия признаков
- Значения SHAP в задаче оценки взаимодействия
- H-статистика Фридмана
- Чему верить
- Взаимодействие признаков: Практика
- Итоговый тест по взаимодействию признаков

22ЧЕРНОВИК · Что сеть выучила: признаки и концепции (заменит §9)

- Введение
- Что нужно помнить про CNN
- Learned Features [CNN] Визуализация карт активации
- Feature Visualization: спросить у сети напрямую
- Learned Features [CNN] Network Dissection
- «Одна единица — одна концепция»?
- Learned Features [CNN]: Практика
- Итоговый тест: что сеть выучила

23ЧЕРНОВИК · Атрибуция: градиент как эвристика (из §10)

- Gradient-based explainability | Saliency Maps
- Image-Specific Class Saliency | Vanilla Gradients
- Vanilla Gradients + Input x Gradient: Практика
- SmoothGrad
- А правильная ли это карта?
- Итоговый тест: градиент как эвристика

24ЧЕРНОВИК · Атрибуция: локализация и CAM-семейство (из §10)

- От пикселей к областям
- CAM и GradCAM
- CAM: Практика
- Guided backpropagation
- Guided backpropagation: Практика
- Guided GradCAM и GradCAM++
- GradCAM: Практика
- Градиент-free CAM: Score-CAM, Ablation-CAM, Eigen-CAM
- Выбор слоя и верность карты: LayerCAM и HiResCAM
- CAM за пределами CNN: ViT и Swin
- Как сравнивать карты: insertion и deletion
- Итоговый тест: локализация и CAM-семейство

25ЧЕРНОВИК · Атрибуция от аксиом: IG, DeepLIFT, LRP (заменит §11)

- Перевернуть постановку
- Integrated Gradients (IG)
- Выбор baseline: чего мы на самом деле спрашиваем
- Integrated Gradients (IG): Практика
- DeepLIFT
- Rescale и RevealCancel: правила DeepLIFT
- DeepLIFT: Практика
- Layer-wise Relevance Propagation (LRP) pt. 1
- Layer-wise Relevance Propagation (LRP) pt. 2
- Layer-wise Relevance Propagation (LRP): Практика
- Атрибуция для трансформеров
- Всё это — одна chain rule
- Обобщение по градиентным методам
- Итоговый тест: атрибуция от аксиом

26ЧЕРНОВИК: Deep Dive в SHAP

- Напоминание
- Как работают ускорения SHAP
- TreeSHAP и DeepSHAP
- Как убирать признаки на разных модальностях?
- SHAP для разных игроков
- SHAP на генеративных моделях
- Ограничения

27ЧЕРНОВИК: Deep Dive в CF

- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10

01Введение

- О курсе
- Тест по машинному обучению

02XAI: мотивация, введение, терминология

- Что и зачем?
- Терминология XAI: Введение
- Классификация методов объяснения

03Линейные интерпретируемые модели

04Нелинейные интерпретируемые модели

05Каузальность и интерпретируемость

- Каузальность как термин
- Каузальность в моделях
- IV и DML
- Базовые подходы обеспечения каузальности в MI.

06Методы объяснений для моделей машинного обучения pt. 1

- Введение: методы объяснений
- CPO
- ICE
- PDP
- ALE
- Обобщение по пройденным методам
- CPO, ICE, PDP, ALE: тест

07Методы объяснения для моделей машинного обучения pt. 2

08Взаимодействие признаков

09Методы объяснения в DL pt.1 CNN

10Методы объяснения в DL pt.2 Gradient-based 1

11Методы объяснения в DL pt.2 Gradient-based 2

12Методы объяснения в DL pt.3 Concept-based methods

13Методы объяснения в DL pt.4 Attention-based Explainability

14Прикладной анализ LLM

15Объяснение поведения агентов

- Введение: что есть агент
- Компонентный процесс объяснения

16Оценка качества объяснений

- Оценка объяснений XAI
- Оценка качества объяснений

17Заключение и послесловие

- Будь осторожен — причина — не следствие
- Заключительный тест.

18Бонусы: материалы, чит-листы, открытые вебинары

- Чит-лист по важностям признаков в ансамблях.
- Туториалы

19Объяснение DL моделей через вмешательство

- Ablation, Occlusion и Permutation
- RISE
- Объяснение DL моделей через вмешательство: практика

20Атаки на объяснения

21ЧЕРНОВИК · Взаимодействие признаков (заменит §8)

22ЧЕРНОВИК · Что сеть выучила: признаки и концепции (заменит §9)

23ЧЕРНОВИК · Атрибуция: градиент как эвристика (из §10)

24ЧЕРНОВИК · Атрибуция: локализация и CAM-семейство (из §10)

25ЧЕРНОВИК · Атрибуция от аксиом: IG, DeepLIFT, LRP (заменит §11)

26ЧЕРНОВИК: Deep Dive в SHAP

27ЧЕРНОВИК: Deep Dive в CF

- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10

Организатор

Автор курса

Stepik

4.6Нет отзывов

Stepik — образовательная платформа и конструктор онлайн-курсов. Мы разрабатываем алгоритмы адаптивного обучения, сотрудничаем с авторами MOOC, помогаем в проведении олимпиад и программ переподготовки. Наша цель — сделать образование открытым и удобным. Stepik — широко известная российская образовательная платформа, основанная в 2013 году. На Stepik зарегистрировано более миллиона пользователей из России и стран СНГ. В настоящее время на Stepik представлены несколько тысяч учебных курсов на самые разные темы.

Подробнее об авторе

Мнения учеников