Stepik О курсе
Подробнее
Этот курс посвящен современным методам обработки звука и речи (Speech Processing) с использованием машинного обучения.
Студенты познакомятся с основными способами представления аудиосигналов (wav, spectrograms, continuous embeddings, discrete tokens) , фундаментальными задачами обработки речи, такими как автоматическое распознавание речи (ASR) и синтез речи (TTS), а также получат обзор других ключевых направлений. Также курс включает в себя знакомство с задачей построения моделей для малоресурсных и не английских языков, и в эру больших языковых моделей, часть курса будет посвящена Speech LLM и мультимодальным LLM, включающим речь. Завершающие недели будут посвящены задачам в аудиодомене.
Выполняя практические задания, вы будете создавать и обучать свои модели машинного обучения и нейронных сетей, а также дообучать существующие модели. В финале вы разработаете итоговый проект, который закрепит полученные знания. По окончании курса вы получите сертификат.
Форма регистрации на курс. Необходимо заполнить для получения диплома.
Чат семестра в TG
Гитхаб семестра
Наш Boosty
Наш сайт
FAQ
Наша группа ВК
Наш TG канал
*Deep Learning School – учебная организация на базе Физтех-школы прикладной математики и информатики Московского физико-технического института.
Требования
Что нужно для старта
- Владеть фреймворком Pytorch для обучения нейросетей
- Свободно понимать концепции Generative Models, NLP
Аудитория
Для кого этот курс
- Курс рассчитан на студентов, прошедших 1 и 2 семестр DLS и имеющих базовые знания в области DL, NLP, Generative Models.
Содержание
24 занятияПрограмма курса
№ТемаЧто внутри
01Организационная информация
- О курсе
- Дополнительные материалы
02Введение в аудио
- Лекция. Waveforms - первое представление звука.
- Семинар. Введение в библиотеки для звука: librosa, torchaudio
03Домашнее задание. Sound Classification
- Домашнее задание. Sound Classification
04Spectrograms
- Лекция. Спектрограммы.
05Домашнее задание.Beyond the Fundamental: A Spectral Adventure
- Домашнее задание
06SSL
- Лекция. SSL
- Семинар. SSL
07Домашнее задание. SSL
- Домашнее задание. SSL
08Кодеки
- Лекция. Аудио кодеки
- Семинар. Аудио кодеки
09Распознавание речи
- Лекция. Распознавание речи
- Семинар. Распознавание речи
10Распознавание часть 2
- Лекция. Распознавание речи, часть 2
- Семинар. Распознавание речи, часть 2.
11Домашнее задание. Распознавание речи.
- Домашнее задание. Распознавание речи.
12Основы генерации речи
- Лекция. Основы генерации речи, часть 1
- Семинар. Основы генерации речи, часть 1
13Основы генерации речи, современные подходы
- Лекция. Основы генерации речи, современные подходы
- Семинар. Основы генерации речи, современные подходы
14Домашнее задание. Основы генерации речи
- Домашнее задание
15Дипфейки и их детекция
- Лекция. Дипфейки и их детекция
- Семинар. Дипфейки и их детекция
16Домашнее задание. Дипфейки и их детекция
- Домашнее задание. Дипфейки и их детекция
17Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Лекция. Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Семинар. Voice Assistant Pipeline. Keyword & Endpoint Detection.
18Домашнее задание. Voice Assistant Pipeline
- Домашнее задание. Voice Assistant Pipeline
19Low-resource языки и non-English языки.
- Лекция. Low-resource языки и non-English языки.
- Семинар. Low-resource языки и non-English языки.
20Домашнее задание. Low-resource языки и non-English языки.
- Домашнее задание. Low-resource языки и non-English языки.
21Speech LLMs: Audio-Conditioned Models
- Лекция. Speech LLMs: Audio-Conditioned Models
- Семинар. Speech LLMs: Audio-Conditioned Models
22Домашнее задание. LLM
- Домашнее задание. LLM
23Итоговый проект
- Итоговый проект. Описание и форма сдачи
24Модуль для дополнительных баллов
- Урок для дополнительных баллов
01Организационная информация
- О курсе
- Дополнительные материалы
02Введение в аудио
- Лекция. Waveforms - первое представление звука.
- Семинар. Введение в библиотеки для звука: librosa, torchaudio
03Домашнее задание. Sound Classification
- Домашнее задание. Sound Classification
04Spectrograms
- Лекция. Спектрограммы.
05Домашнее задание.Beyond the Fundamental: A Spectral Adventure
- Домашнее задание
06SSL
- Лекция. SSL
- Семинар. SSL
07Домашнее задание. SSL
- Домашнее задание. SSL
08Кодеки
- Лекция. Аудио кодеки
- Семинар. Аудио кодеки
09Распознавание речи
- Лекция. Распознавание речи
- Семинар. Распознавание речи
10Распознавание часть 2
- Лекция. Распознавание речи, часть 2
- Семинар. Распознавание речи, часть 2.
11Домашнее задание. Распознавание речи.
- Домашнее задание. Распознавание речи.
12Основы генерации речи
- Лекция. Основы генерации речи, часть 1
- Семинар. Основы генерации речи, часть 1
13Основы генерации речи, современные подходы
- Лекция. Основы генерации речи, современные подходы
- Семинар. Основы генерации речи, современные подходы
14Домашнее задание. Основы генерации речи
- Домашнее задание
15Дипфейки и их детекция
- Лекция. Дипфейки и их детекция
- Семинар. Дипфейки и их детекция
16Домашнее задание. Дипфейки и их детекция
- Домашнее задание. Дипфейки и их детекция
17Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Лекция. Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Семинар. Voice Assistant Pipeline. Keyword & Endpoint Detection.
18Домашнее задание. Voice Assistant Pipeline
- Домашнее задание. Voice Assistant Pipeline
19Low-resource языки и non-English языки.
- Лекция. Low-resource языки и non-English языки.
- Семинар. Low-resource языки и non-English языки.
20Домашнее задание. Low-resource языки и non-English языки.
- Домашнее задание. Low-resource языки и non-English языки.
21Speech LLMs: Audio-Conditioned Models
- Лекция. Speech LLMs: Audio-Conditioned Models
- Семинар. Speech LLMs: Audio-Conditioned Models
22Домашнее задание. LLM
- Домашнее задание. LLM
23Итоговый проект
- Итоговый проект. Описание и форма сдачи
24Модуль для дополнительных баллов
- Урок для дополнительных баллов
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Deep Learning (Speech, осень 2026)» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Направления:Машинное обучение
Информация обновлена 21 сентября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
![[АРХИВ] Deep Learning (семестр 1, осень 2023)](https://cdn.stepik.net/media/cache/images/courses/181974/cover_bq8Ten0/442ca96b71e76542dff55bbbc4aca303.png)
![[АРХИВ] Deep Learning (семестр 1, весна 2025)](https://cdn.stepik.net/media/cache/images/courses/230362/cover_4tkfoRj/492fc6dc0234358ce905da4c4ca71bd6.jpg)
![[АРХИВ] Deep Learning (семестр 1, весна 2023): продвинутый поток](https://cdn.stepik.net/media/cache/images/courses/135003/cover_2zXJL9O/db54e2933429a4cc0c45c3035311ac6f.jpg)
![[АРХИВ] Deep Learning (семестр 2, осень 2024)](https://cdn.stepik.net/media/cache/images/courses/196142/cover_dLZWnQI/f5772a02869d297a8c6632f8c7d74b55.jpg)
