Stepik О курсе
Подробнее
Курс посвящен очень популярной сегодня теме - большим языковым моделям (Large Language Models или LLM). Действительно, современные чат-боты на базе LLM (ChatGPT, Gemini, Gigachat, DeepSeek, YandexGPT и другие) впечатляют нас своими ответами, и многие уже на повседневной основе пользуются этими помощниками.
В курсе мы погрузимся в то, как работают большие языковые модели - в теории и на практике. Но LLM - не единственное достижение в области обработки естественного языка (Natural Language Processing или NLP), поэтому в первой части курса мы вспомним (а кто-то - познакомится) и другие рабочие подходы и инструменты для решения NLP-задач, а потом уже перейдем непосредственно к LLM.
Кроме того, знать как работают LLM и обучать/дообучать их в Python - недостаточно. Важно и полезно уметь доводить свои эксперименты до готового продукта и реализовывать сервисы и боты для инференса своих решений - про это и многое другое мы также поговорим на курсе.
Требования
Что нужно для старта
- Знание классического Machine Learning
- Знание основных подходов и базовых архитектур Deep Learning
- Опыт обучения моделей в Python
Результат
Что вы получите
- Разберетесь в архитектуре трансформеров
- Узнаете про большие языковые модели
- Научитесь дообучать LLM под свои задачи
- Разберетесь с техниками эффективного дообучения LLM
- Узнаете как делать инференс LLM
- Освоите технологию RAG и научитесь создавать AI-агентов
Аудитория
Для кого этот курс
- Курс подойдет всем, кто интересуется NLP и LLM в его современном состоянии.
Содержание
12 занятийПрограмма курса
№ТемаЧто внутри
01О курсе
- О курсе
02Полносвязные нейронные сети
- Мотивация использования нейронных сетей, полносвязные сети
- Примеры использования нейронных сетей
- Полносвязные сети. Функции активации
- Домашнее задание - 1
03Обучение нейронных сетей
- Обучение нейронных сетей
- Градиентный спуск для функции одной переменной
- Градиентный спуск в общем случае
- Стохастический градиентный спуск
- Модификации градиентного спуска
- Метод обратного распространения ошибки
- Домашнее задание - 2
04Введение в PyTorch
- Знакомство с PyTorch
- Нейронные сети в PyTorch
- Домашнее задание - 3
05Классические методы NLP
- Введение в область NLP и обзор базовых счетных подходов
- Продвинутые счетные методы: PMI, BM25
- Эмбеддинги: word2vec, glove, doc2vec
- FastText
- Приближенные методы поиска ближайших соседей и векторные БД
06Современный NLP
- Токенизация: minBPE, BPE
- Attention
- Трансформер
- Практика по применению моделей из HuggingFace
- Метрики качества: BLEU, ROUGE
- Зоопарк моделей
- Fine-tuning моделей из HuggingFace
07Введение в LLM
- Фреймворк обучения больших языковых моделей (LLM)
- Инференс LLM в Python
- Методы эффективного дообучения LLM (PEFT)
- Генеративные чат-боты: концепции RLHF, DPO, PPO
- TRL библиотека для дообучения
08Продвинутые методы LLM
- Смысловые модификации Attention
- Модификации классических BERT и GPT
- Mixture of Experts (MOE)
- Reasoning
09LLM как инструмент
- RAG - основы и базовый сценарий
- Фреймворк LangChain
- Векторные базы данных
- Различные RAG-сценарии и оценка качества RAG-системы
- AI-агенты
- LangGraph
- MCP и Agent-to-Agent системы
10Ускорение LLM
- Устройство GPU и почему нам это важно
- Квантизация, precision, mixed-precision
- Дистилляция, прунинг
- Flash / Sparse / Paged attention
- KV-cache
- Adaptive batching
11LLM в продакшне
- Возможности и ограничения LLM для бизнес-задач
- Мониторинг системы и качество данных
- Этические ограничения LLM-based систем
- Оценка качества LLM-моделей
- Инференс-серверы (Triton, VLLM)
12Расширенные сценарии использования LLM
- Мультимодальные модели, CLIP
- Генерация данных при помощи LLM
01О курсе
- О курсе
02Полносвязные нейронные сети
- Мотивация использования нейронных сетей, полносвязные сети
- Примеры использования нейронных сетей
- Полносвязные сети. Функции активации
- Домашнее задание - 1
03Обучение нейронных сетей
- Обучение нейронных сетей
- Градиентный спуск для функции одной переменной
- Градиентный спуск в общем случае
- Стохастический градиентный спуск
- Модификации градиентного спуска
- Метод обратного распространения ошибки
- Домашнее задание - 2
04Введение в PyTorch
- Знакомство с PyTorch
- Нейронные сети в PyTorch
- Домашнее задание - 3
05Классические методы NLP
- Введение в область NLP и обзор базовых счетных подходов
- Продвинутые счетные методы: PMI, BM25
- Эмбеддинги: word2vec, glove, doc2vec
- FastText
- Приближенные методы поиска ближайших соседей и векторные БД
06Современный NLP
- Токенизация: minBPE, BPE
- Attention
- Трансформер
- Практика по применению моделей из HuggingFace
- Метрики качества: BLEU, ROUGE
- Зоопарк моделей
- Fine-tuning моделей из HuggingFace
07Введение в LLM
- Фреймворк обучения больших языковых моделей (LLM)
- Инференс LLM в Python
- Методы эффективного дообучения LLM (PEFT)
- Генеративные чат-боты: концепции RLHF, DPO, PPO
- TRL библиотека для дообучения
08Продвинутые методы LLM
- Смысловые модификации Attention
- Модификации классических BERT и GPT
- Mixture of Experts (MOE)
- Reasoning
09LLM как инструмент
- RAG - основы и базовый сценарий
- Фреймворк LangChain
- Векторные базы данных
- Различные RAG-сценарии и оценка качества RAG-системы
- AI-агенты
- LangGraph
- MCP и Agent-to-Agent системы
10Ускорение LLM
- Устройство GPU и почему нам это важно
- Квантизация, precision, mixed-precision
- Дистилляция, прунинг
- Flash / Sparse / Paged attention
- KV-cache
- Adaptive batching
11LLM в продакшне
- Возможности и ограничения LLM для бизнес-задач
- Мониторинг системы и качество данных
- Этические ограничения LLM-based систем
- Оценка качества LLM-моделей
- Инференс-серверы (Triton, VLLM)
12Расширенные сценарии использования LLM
- Мультимодальные модели, CLIP
- Генерация данных при помощи LLM
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Современные LLM» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Информация обновлена 12 августа 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
![Deep Learning (семестр 1, осень 2025) [АРХИВ]](https://cdn.stepik.net/media/cache/images/courses/250969/cover_3ghM7i5/aab82cc6ba6ad93120824913eeaab261.jpg)
