Современные LLM

Современные LLM

ФорматОнлайн

Объём12 занятий

О курсе

Подробнее

Курс посвящен очень популярной сегодня теме - большим языковым моделям (Large Language Models или LLM). Действительно, современные чат-боты на базе LLM (ChatGPT, Gemini, Gigachat, DeepSeek, YandexGPT и другие) впечатляют нас своими ответами, и многие уже на повседневной основе пользуются этими помощниками. В курсе мы погрузимся в то, как работают большие языковые модели - в теории и на практике. Но LLM - не единственное достижение в области обработки естественного языка (Natural Language Processing или NLP), поэтому в первой части курса мы вспомним (а кто-то - познакомится) и другие рабочие подходы и инструменты для решения NLP-задач, а потом уже перейдем непосредственно к LLM. Кроме того, знать как работают LLM и обучать/дообучать их в Python - недостаточно. Важно и полезно уметь доводить свои эксперименты до готового продукта и реализовывать сервисы и боты для инференса своих решений - про это и многое другое мы также поговорим на курсе.

Требования

Что нужно для старта

Знание классического Machine Learning
Знание основных подходов и базовых архитектур Deep Learning
Опыт обучения моделей в Python

Результат

Что вы получите

Разберетесь в архитектуре трансформеров
Узнаете про большие языковые модели
Научитесь дообучать LLM под свои задачи
Разберетесь с техниками эффективного дообучения LLM
Узнаете как делать инференс LLM
Освоите технологию RAG и научитесь создавать AI-агентов

Аудитория

Для кого этот курс

Курс подойдет всем, кто интересуется NLP и LLM в его современном состоянии.

Содержание

Программа курса

12 занятий

№ТемаЧто внутри

01О курсе

- О курсе

02Полносвязные нейронные сети

- Мотивация использования нейронных сетей, полносвязные сети
- Примеры использования нейронных сетей
- Полносвязные сети. Функции активации
- Домашнее задание - 1

03Обучение нейронных сетей

- Обучение нейронных сетей
- Градиентный спуск для функции одной переменной
- Градиентный спуск в общем случае
- Стохастический градиентный спуск
- Модификации градиентного спуска
- Метод обратного распространения ошибки
- Домашнее задание - 2

04Введение в PyTorch

- Знакомство с PyTorch
- Нейронные сети в PyTorch
- Домашнее задание - 3

05Классические методы NLP

- Введение в область NLP и обзор базовых счетных подходов
- Продвинутые счетные методы: PMI, BM25
- Эмбеддинги: word2vec, glove, doc2vec
- FastText
- Приближенные методы поиска ближайших соседей и векторные БД

06Современный NLP

- Токенизация: minBPE, BPE
- Attention
- Трансформер
- Практика по применению моделей из HuggingFace
- Метрики качества: BLEU, ROUGE
- Зоопарк моделей
- Fine-tuning моделей из HuggingFace

07Введение в LLM

- Фреймворк обучения больших языковых моделей (LLM)
- Инференс LLM в Python
- Методы эффективного дообучения LLM (PEFT)
- Генеративные чат-боты: концепции RLHF, DPO, PPO
- TRL библиотека для дообучения

08Продвинутые методы LLM

- Смысловые модификации Attention
- Модификации классических BERT и GPT
- Mixture of Experts (MOE)
- Reasoning

09LLM как инструмент

- RAG - основы и базовый сценарий
- Фреймворк LangChain
- Векторные базы данных
- Различные RAG-сценарии и оценка качества RAG-системы
- AI-агенты
- LangGraph
- MCP и Agent-to-Agent системы

10Ускорение LLM

- Устройство GPU и почему нам это важно
- Квантизация, precision, mixed-precision
- Дистилляция, прунинг
- Flash / Sparse / Paged attention
- KV-cache
- Adaptive batching

11LLM в продакшне

- Возможности и ограничения LLM для бизнес-задач
- Мониторинг системы и качество данных
- Этические ограничения LLM-based систем
- Оценка качества LLM-моделей
- Инференс-серверы (Triton, VLLM)

12Расширенные сценарии использования LLM

- Мультимодальные модели, CLIP
- Генерация данных при помощи LLM

01О курсе

- О курсе

02Полносвязные нейронные сети

03Обучение нейронных сетей

04Введение в PyTorch

- Знакомство с PyTorch
- Нейронные сети в PyTorch
- Домашнее задание - 3

05Классические методы NLP

06Современный NLP

07Введение в LLM

08Продвинутые методы LLM

- Смысловые модификации Attention
- Модификации классических BERT и GPT
- Mixture of Experts (MOE)
- Reasoning

09LLM как инструмент

10Ускорение LLM

11LLM в продакшне

12Расширенные сценарии использования LLM

- Мультимодальные модели, CLIP
- Генерация данных при помощи LLM

Организатор

Автор курса

Stepik

4.6Нет отзывов

Stepik — образовательная платформа и конструктор онлайн-курсов. Мы разрабатываем алгоритмы адаптивного обучения, сотрудничаем с авторами MOOC, помогаем в проведении олимпиад и программ переподготовки. Наша цель — сделать образование открытым и удобным. Stepik — широко известная российская образовательная платформа, основанная в 2013 году. На Stepik зарегистрировано более миллиона пользователей из России и стран СНГ. В настоящее время на Stepik представлены несколько тысяч учебных курсов на самые разные темы.

Подробнее об авторе

Мнения учеников