Stepik О курсе
Подробнее
Этот курс посвящен современным методам обработки звука и речи (Speech Processing) с использованием машинного обучения.
Студенты познакомятся с основными способами представления аудиосигналов (wav, spectrograms, continuous embeddings, discrete tokens) , фундаментальными задачами обработки речи, такими как автоматическое распознавание речи (ASR) и синтез речи (TTS), а также получат обзор других ключевых направлений. Также курс включает в себя знакомство с задачей построения моделей для малоресурсных и не английских языков, и в эру больших языковых моделей, часть курса будет посвящена Speech LLM и мультимодальным LLM, включающим речь. Завершающие недели будут посвящены задачам в аудиодомене.
Выполняя практические задания, вы будете создавать и обучать свои модели машинного обучения и нейронных сетей, а также дообучать существующие модели. В финале вы разработаете итоговый проект, который закрепит полученные знания. По окончании курса вы получите сертификат.
Форма регистрации на курс. Необходимо заполнить для получения диплома.
Наш сайт
FAQ
Наша группа ВК
Наш TG канал
Чат семестра в TG
*Deep Learning School – учебная организация на базе Физтех-школы прикладной математики и информатики Московского физико-технического института.
Требования
Что нужно для старта
- Владеть фреймворком Pytorch для обучения нейросетей
- Свободно понимать концепции Generative Models, NLP
Аудитория
Для кого этот курс
- Курс рассчитан на студентов, прошедших 1 и 2 семестр DLS и имеющих базовые знания в области DL, NLP, Generative Models.
Содержание
24 занятияПрограмма курса
№ТемаЧто внутри
01Организационная информация
- О курсе
- Дополнительные материалы
02Введение в аудио
- Лекция. Waveforms - первое представление звука.
- Семинар. Введение в библиотеки для звука: librosa, torchaudio
03Домашнее задание. Sound Classification
- Домашнее задание. Sound Classification
04Spectrograms
- Лекция. Спектрограммы.
- Семинар.
05Домашнее задание.Beyond the Fundamental: A Spectral Adventure
- Домашнее задание
06SSL
- Лекция. SSL
- Семинар. SSL
07Домашнее задание. SSL
- Домашнее задание. SSL
08Кодеки
- Лекция. Аудио кодеки
- Семинар. Аудио кодеки
09Распознавание речи
- Лекция. Распознавание речи
- Семинар. Распознавание речи
10Распознавание часть 2
- Лекция. Распознавание речи, часть 2
- Семинар. Распознавание речи, часть 2.
11Домашнее задание
- Домашнее задание. Распознавание речи.
12Основы генерации речи
- Лекция. Основы генерации речи, часть 1
- Семинар. Основы генерации речи, часть 1
13Основы генерации речи, современные подходы
- Лекция. Основы генерации речи, современные подходы
- Семинар. Основы генерации речи, современные подходы
14Домашнее задание. Основы генерации речи
- Домашнее задание
15Дипфейки и их детекция
- Лекция. Дипфейки и их детекция
- Семинар. Дипфейки и их детекция
16Домашнее задание. Дипфейки и их детекция
- Домашнее задание. Дипфейки и их детекция
17Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Лекция. Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Семинар. Voice Assistant Pipeline. Keyword & Endpoint Detection.
18Домашнее задание. Voice Assistant Pipeline
- Домашнее задание. Voice Assistant Pipeline
19Low-resource языки и non-English языки.
- Лекция. Low-resource языки и non-English языки.
- Семинар. Low-resource языки и non-English языки.
20Домашнее задание. Low-resource языки и non-English языки.
- Домашнее задание. Low-resource языки и non-English языки.
21Speech LLMs: Audio-Conditioned Models
- Лекция. Speech LLMs: Audio-Conditioned Models
- Семинар. Speech LLMs: Audio-Conditioned Models
22Домашнее задание. LLM
- Домашнее задание. LLM
23Модуль для дополнительных баллов
- Урок для дополнительных баллов
24 Итоговый проект
- Итоговый проект. Описание и форма сдачи
01Организационная информация
- О курсе
- Дополнительные материалы
02Введение в аудио
- Лекция. Waveforms - первое представление звука.
- Семинар. Введение в библиотеки для звука: librosa, torchaudio
03Домашнее задание. Sound Classification
- Домашнее задание. Sound Classification
04Spectrograms
- Лекция. Спектрограммы.
- Семинар.
05Домашнее задание.Beyond the Fundamental: A Spectral Adventure
- Домашнее задание
06SSL
- Лекция. SSL
- Семинар. SSL
07Домашнее задание. SSL
- Домашнее задание. SSL
08Кодеки
- Лекция. Аудио кодеки
- Семинар. Аудио кодеки
09Распознавание речи
- Лекция. Распознавание речи
- Семинар. Распознавание речи
10Распознавание часть 2
- Лекция. Распознавание речи, часть 2
- Семинар. Распознавание речи, часть 2.
11Домашнее задание
- Домашнее задание. Распознавание речи.
12Основы генерации речи
- Лекция. Основы генерации речи, часть 1
- Семинар. Основы генерации речи, часть 1
13Основы генерации речи, современные подходы
- Лекция. Основы генерации речи, современные подходы
- Семинар. Основы генерации речи, современные подходы
14Домашнее задание. Основы генерации речи
- Домашнее задание
15Дипфейки и их детекция
- Лекция. Дипфейки и их детекция
- Семинар. Дипфейки и их детекция
16Домашнее задание. Дипфейки и их детекция
- Домашнее задание. Дипфейки и их детекция
17Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Лекция. Voice Assistant Pipeline. Keyword & Endpoint Detection.
- Семинар. Voice Assistant Pipeline. Keyword & Endpoint Detection.
18Домашнее задание. Voice Assistant Pipeline
- Домашнее задание. Voice Assistant Pipeline
19Low-resource языки и non-English языки.
- Лекция. Low-resource языки и non-English языки.
- Семинар. Low-resource языки и non-English языки.
20Домашнее задание. Low-resource языки и non-English языки.
- Домашнее задание. Low-resource языки и non-English языки.
21Speech LLMs: Audio-Conditioned Models
- Лекция. Speech LLMs: Audio-Conditioned Models
- Семинар. Speech LLMs: Audio-Conditioned Models
22Домашнее задание. LLM
- Домашнее задание. LLM
23Модуль для дополнительных баллов
- Урок для дополнительных баллов
24 Итоговый проект
- Итоговый проект. Описание и форма сдачи
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Deep Learning (Speech, осень 2025)» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Информация обновлена 7 сентября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
