Stepik [АРХИВ] Deep Learning (семестр 2, осень 2024)
О курсе
Подробнее
Школа глубокого обучения (Deep Learning School) – учебная организация на базе Физтех-школы прикладной математики и информатики Московского физико-технического института. Мы ведем курсы по искусственному интеллекту для школьников и студентов, которые интересуются программированием и математикой. Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских компаний, а также выпускники и студенты ФПМИ МФТИ.
Этот курс посвящен использованию нейросетевых моделей для обработки естественного языка (NLP) . Курс рассчитан на студентов, прошедших курс первого семестра нашей школы Deep Learning School.
Курс состоит из лекций, семинаров и домашних заданий. В течение курса вам предстоит много практики, а в конце — самостоятельный итоговый проект. Преподаватели школы — ведущие специалисты российских и зарубежных IT-компаний и научные сотрудники исследовательских компаний.
Ссылки:
Наш сайт: dls.samcs.ru
Подробная программа курса
FAQ
Наша группа ВК
Требования
Что нужно для старта
- -- Владеть фреймворком Pytorch для обучения нейросетей
- -- Пройти 1 семестр курса "Deep Learning" (желательно)
Результат
Что вы получите
- — Применять классические и нейросетевые алгоритмы для основных задач обработки текста: классификации текстов, языкового моделирования, машинного перевода, построения вопросно-ответных систем
- — Применять готовые модели обработки естественного языка для дообучения на конкретных задачах
- — Понимать, как устроены современные LLM: ChatGPT, LLama, Claude. Уметь использовать LLM для различных задач.
Аудитория
Для кого этот курс
- Студенты и выпускники технических вузов, прошедшие 1 семестр курса "Deep Learning"
Содержание
25 занятийПрограмма курса
№ТемаЧто внутри
01Организационная информация
- Организационная информация
02Введение в NLP. Эмбеддинги слов.
- Лекция. Эмбеддинги слов.
- Семинар. Обработка и классификация текстов
03Домашнее задание. Ранжирование текстов на основе эмбеддингов
- Ранжирование текстов на основе эмбеддингов
04Рекуррентные нейронные сети (RNN)
- Лекция. Рекуррентные нейронные сети. Татьяна Гайнцева
- Семинар. Классификация текста с помощью RNN. Антон Земеров
05Домашнее задание. Классификация текста с помощью RNN
- Домашнее задание. Классификация текста с помощью RNN
06Языковое моделирование
- Лекция. Языковое моделирование. Антон Земеров
- Семинар. Языковое моделирование. Антон Земеров
07Домашнее задание. Языковое моделирование
- Домашнее задание. Языковое моделирование
08Машинный перевод и механизм Attention
- Лекция. Машинный перевод и механизм Attention
- Семинар. Машинный перевод
- Дополнительные материалы
09Архитектура Transformer
- Лекция. Attention и трансформер. Татьяна Гайнцева
- Семинар. Attention и трансформеры. Игорь Щукин
- Дополнительные материалы
10Предобучение и дообучение языковых моделей
- Лекция. Предобучение и файнтьюнинг LM. Антон Земеров
- Семинар. Файнтьюнинг BART для суммаризации. Антон Земеров
11Домашнее задание. Предобучение и дообучение языковых моделей
- Домашнее задание. Трансформеры
12От GPT до GPT-3. Zero-shot Learning.
- Лекция. GPT-модели
13ChatGPT. Instruction Tuning & RLHF. RAG
- Лекция. ChatGPT. Instruction Tuning & RLHF
- Семинар. RAG
14Домашнее задание. RAG
- Домашнее задание. RAG
- Домашнее задание. RAG
15Интерпретируемость трансформеров
- Лекция. Интерпретируемость трансформеров.
16Домашнее задание. Внутри языковых моделей.
- test
17Детекция сгенерированных текстов
- Лекция. Детекция сгенерированных текстов.
- Семинар. Детекция сгенерированных текстов.
18Домашнее задание. Детекция сгенерированных текстов.
- Домашнее задание. Детекция сгенерированных текстов.
19Дистилляция больших моделей
- test
20Домашнее задание. Дистилляция больших моделей
- test
21Задачи NLP. Суммаризация текста и диалоговые системы
- test
22Домашнее задание. Задачи NLP.
- test
23Введение в обработку аудио
- test
24Домашнее задание. Введение в обработку аудио
- test
25Итоговый проект
- Итоговый проект. Описание и форма сдачи
01Организационная информация
- Организационная информация
02Введение в NLP. Эмбеддинги слов.
- Лекция. Эмбеддинги слов.
- Семинар. Обработка и классификация текстов
03Домашнее задание. Ранжирование текстов на основе эмбеддингов
- Ранжирование текстов на основе эмбеддингов
04Рекуррентные нейронные сети (RNN)
- Лекция. Рекуррентные нейронные сети. Татьяна Гайнцева
- Семинар. Классификация текста с помощью RNN. Антон Земеров
05Домашнее задание. Классификация текста с помощью RNN
- Домашнее задание. Классификация текста с помощью RNN
06Языковое моделирование
- Лекция. Языковое моделирование. Антон Земеров
- Семинар. Языковое моделирование. Антон Земеров
07Домашнее задание. Языковое моделирование
- Домашнее задание. Языковое моделирование
08Машинный перевод и механизм Attention
- Лекция. Машинный перевод и механизм Attention
- Семинар. Машинный перевод
- Дополнительные материалы
09Архитектура Transformer
- Лекция. Attention и трансформер. Татьяна Гайнцева
- Семинар. Attention и трансформеры. Игорь Щукин
- Дополнительные материалы
10Предобучение и дообучение языковых моделей
- Лекция. Предобучение и файнтьюнинг LM. Антон Земеров
- Семинар. Файнтьюнинг BART для суммаризации. Антон Земеров
11Домашнее задание. Предобучение и дообучение языковых моделей
- Домашнее задание. Трансформеры
12От GPT до GPT-3. Zero-shot Learning.
- Лекция. GPT-модели
13ChatGPT. Instruction Tuning & RLHF. RAG
- Лекция. ChatGPT. Instruction Tuning & RLHF
- Семинар. RAG
14Домашнее задание. RAG
- Домашнее задание. RAG
- Домашнее задание. RAG
15Интерпретируемость трансформеров
- Лекция. Интерпретируемость трансформеров.
16Домашнее задание. Внутри языковых моделей.
- test
17Детекция сгенерированных текстов
- Лекция. Детекция сгенерированных текстов.
- Семинар. Детекция сгенерированных текстов.
18Домашнее задание. Детекция сгенерированных текстов.
- Домашнее задание. Детекция сгенерированных текстов.
19Дистилляция больших моделей
- test
20Домашнее задание. Дистилляция больших моделей
- test
21Задачи NLP. Суммаризация текста и диалоговые системы
- test
22Домашнее задание. Задачи NLP.
- test
23Введение в обработку аудио
- test
24Домашнее задание. Введение в обработку аудио
- test
25Итоговый проект
- Итоговый проект. Описание и форма сдачи
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «[АРХИВ] Deep Learning (семестр 2, осень 2024)» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Информация обновлена 7 сентября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
