Машинное обучение с подкреплением: обычное и глубокое

1. Линейная алгебра (30 мин) Обзор основных концепций. 2. Математический анализ (1 ч) Интегралы. Производные. Примеры. 3. Теория вероятностей (4 ч) Случайные величины. Функции плотности вероятности. Математическое ожидание. Условные, совместные и безусловные вероятности. Примеры. Практика.

1. Введение в RL (4 ч) Марковские процессы принятия решений. Динамическое программирование с примером. Уравнение Беллмана. Оценка стратегии. Итерация по стратегиям. Итерация по ценностям. Примеры. Практика. 2. На основе модели и без модели (3 ч) Обучение и планирование. Детерминированное. Стохастическое. Аппроксимация линейной функции-значения. Сравнение и практика. 3. Алгоритмы (4 ч) Q-обучение. SARSA. Методы Исполнитель-критик. Градиент стратегии. Методы дерева Монте-Карло. Обучение и исполнение. Примеры. Практика.

1. Глубокое обучение с подкреплением (1,5 ч) Аппроксимация нелинейной функции. Прорыв DeepMind. Объяснение Alpha-Star. 2. Новейшие технологии в глубоком RL (3 ч) Память, внимание, рекурсия. Обратное RL. Обучение нескольких агентов. Иерархическое обучение. Развитие поощрений – AutoRL. Оптимизации стратегий. 3. Применения и использование (2 ч) Трейдинг. Понимание речи и вопросно-ответные системы (опционально). Балансировка нагрузки (опционально). Другие применения (опционально).

1. Pytorch / Tensorflow (2 ч) Основы тензорного исчисления. Реализация алгоритма RL с нуля. Тестирование и визуализация. Практика. 2. Ray + RLlib (3 ч 30 мин) Основы тензорного исчисления. Реализация алгоритма RL с нуля. Тестирование и визуализация. Практика. 3. Визуализация и объяснимость (1 ч 30 мин) SMDP, AMDP, SAMDP. Проекция на 3D-пространство с помощью TSNE. Примеры.