Трансформеры в NLP и приложениях

Трансформеры в NLP и приложениях

ФорматОнлайн

Объём8 занятий

О курсе

Подробнее

Курс стартует 25 февраля 2024 года. Важно! Основные материалы курса будут даваться преподавателями на вебинарах в декабре. На этих онлайн-занятиях вы сможете взаимодействовать с преподавателями и задавать им в режиме реального времени любые вопросы. Также на протяжении курса вы будете общаться с коллегами и командой курса в закрытом телеграм-чате. Важно! Записи занятий, тесты, практические задания и весь дополнительный материал выкладываются на Stepik. Смотреть вебинары и сдавать практику можно в любое время! В курсе подробно разобрана схема работы механизма внимания и различные архитектуры трансформеров. Кроме теории в курсе много практических заданий, требующих использования библиотеки PyTorch. На протяжении курса слушатели будут работать над проектом - обучат трансформер для решения NLP-задачи и представят решение в виде готового веб-приложения. Также в курсе разобраны различные задачи из области NLP, для успешного решения которых необходимы трансформерные архитектуры.

Требования

Что нужно для старта

Для успешного прохождения курса от участников ожидается знание классических алгоритмов машинного обучения и базовых DL-архитектур, а также умение обучать ML- и DL-модели в Python.
Рекомендуются к прохождению первые два курс из линейки: "Основы нейронных сетей и NLP" и "Рекуррентные сети в NLP и приложениях".

Результат

Что вы получите

Разберетесь в теоретическом устройстве механизма внимания
Узнаете как работают трансформеры
Научитесь обучать трансформеры на PyTorch самостоятельно
Познакомитесь с библиотекой huggingface
Создадите приложение при помощи streamlit

Аудитория

Для кого этот курс

Курс подойдет слушателям, увлеченным областью NLP и Deep Learning в целом. Мы ожидаем, что слушатели знакомы с классическими ML- и DL-моделями, а также имеют хороший опыт обучения моделей в Python.

Содержание

Программа курса

8 занятий

№ТемаЧто внутри

01О курсе

- О чем курс
- Входное тестирование по Python
- Тест по основам Deep Learning

02NLP: recap

- NLP: recap
- Соревнование

03Введение в PyTorch

- Знакомство с PyTorch
- Нейронные сети в PyTorch
- Домашнее задание - 3

04Attention

- Механизм внимания (attention) и self-attention
- Attention на практике
- Тест по attention

05Трансформеры: теория

- Архитектура трансформеров
- Batch and Layer Normalisation
- Тест

06Трансформеры: практика

- Трансформеры в Python
- Домашнее задание

07Решение различных задач NLP

- Поиск и исправление опечаток
- Решение задачи NER
- Домашнее задание

08Проект по курсу

- Итоговый проект курса

01О курсе

- О чем курс
- Входное тестирование по Python
- Тест по основам Deep Learning

02NLP: recap

- NLP: recap
- Соревнование

03Введение в PyTorch

- Знакомство с PyTorch
- Нейронные сети в PyTorch
- Домашнее задание - 3

04Attention

- Механизм внимания (attention) и self-attention
- Attention на практике
- Тест по attention

05Трансформеры: теория

- Архитектура трансформеров
- Batch and Layer Normalisation
- Тест

06Трансформеры: практика

- Трансформеры в Python
- Домашнее задание

07Решение различных задач NLP

- Поиск и исправление опечаток
- Решение задачи NER
- Домашнее задание

08Проект по курсу

- Итоговый проект курса

Организатор

Автор курса

Stepik

4.6Нет отзывов

Stepik — образовательная платформа и конструктор онлайн-курсов. Мы разрабатываем алгоритмы адаптивного обучения, сотрудничаем с авторами MOOC, помогаем в проведении олимпиад и программ переподготовки. Наша цель — сделать образование открытым и удобным. Stepik — широко известная российская образовательная платформа, основанная в 2013 году. На Stepik зарегистрировано более миллиона пользователей из России и стран СНГ. В настоящее время на Stepik представлены несколько тысяч учебных курсов на самые разные темы.

Подробнее об авторе

Мнения учеников