Reinforcement Learning (Обучение с подкреплением) — от базовых алгоритмов до Deep Q-Network и проектов

Тема 1. От классического ML к RL: адаптация в реальном времени Проблемы статичных данных и фиксированных распределений. Зависимость последовательных решений. Концепция обучения в процессе взаимодействия (чат-боты, рекомендательные системы, умный дом). Тема 2. Анатомия RL: Агент, Среда и Награда Ключевые термины: Agent, Environment, Reward, Action. Цикл обучения RL. Марковский процесс принятия решений. Примеры: AlphaGo, OpenAI Five, AlphaZero, Boston Dynamics, Tesla.

Тема 3. Формализация задачи и алгоритм Q-Learning Проектирование Environment (reset, step). Функция ценности и Политика. Уравнение Беллмана, Q-функции, жадная стратегия, дисконтирование. Практикум: реализация QLearningAgent. Тема 4. Продвинутые алгоритмы: Policy Gradient и Actor-Critic Policy Gradient: прямая оптимизация политики. Actor-Critic: объединение подходов, TD-ошибка. Критерии выбора алгоритма. Практикум: реализация PolicyGradientAgent и ActorCriticAgent.

Тема 5. RL для работы с текстами RL в машинном переводе: фокус на связности текста. Адаптация повествования в играх. Оптимизация диалоговых систем. Тема 6. RLHF: Обучение с подкреплением на основе отзывов людей Пайплайн RLHF: предобучение, сбор оценок, Reward Model, дообучение. PPO (Proximal Policy Optimization). Проблемы: предвзятость, галлюцинации, субъективность.

Тема 7. Практикум: Разработка среды и политик Восстановление пропущенных элементов Environment. Усложнение логики среды. Модификация класса Policy: стратегия выбора действий. Тема 8. Разбор кейса: Создание адаптивной системы генерации ответов Интеграция LLaMA с Q-Learning и принципами RLHF. Генерация ответов разного уровня сложности. Использование Q-таблицы для выбора оптимального стиля. Адаптация под предпочтения пользователя в реальном времени.