Специалист Нейронные сети. Уровень 1. Компьютерное зрение
О курсе
Подробнее
Обучение проходит на Python 3.14/3.13 Нейронные сети – технология, революционно изменившая мир компьютерного зрения, переведя решение многих задач от традиционного логического подхода к эффективным data-driven решениям. Мы уже успели привыкнуть к разблокировке мобильных устройств «по лицу», к распознаванию текста на фото и понемногу начинаем привыкать к изображениям, сгенерированным нейросетями. В рамках данного курса слушатели познакомятся библиотеками pytorch и transformers и решениями в области компьютерного зрения и компьютерной графики. Помимо этого, слушатели изучат теоретические основы нейронных сетей, попробуют себя в качестве создателей нейросетевых моделей с нуля, а также с различными способами дообучения предварительно обученных нейросетевых моделей. Слушателям будет предложено пройти весь путь от разметки данных до создания прототипа приложения. В данном курсе будет рассмотрен ряд нейронных сетей, реализованных средствами Python с использованием библиотек pytorch и transformers. Данные алгоритмы составляют базу для решения задач компьютерного зрения, поскольку эта область непрерывно развивается и совершенствуется. Курс проводится либо в облачной среде, либо на компьютерах с установленным GPU. Курс рекомендован программистам Python, специалистам в области Data Science.
Результат
Что вы получите
- дообучать предварительно обученные нейросетевые модели компьютерного зрения и обучать модели с нуля
- углубите свои знания по Python
- познакомитесь с нейронными сетями и реализацией нейросетевых моделей в библиотеках pytorch и transformers
Содержание
4 занятияПрограмма курса
№ТемаЧто внутри
01Модуль 1. Введение в нейронные сети и компьютерное зрение (6 ак. ч.)
Задачи компьютерного зрения: классификация, обнаружение объектов, сегментация, семантический вывод и т.д. История решения задач компьютерного зрения и обзор современных подходов. Теория нейронных сетей: вычислительный граф, обратное распространение ошибки, оптимизация функции потерь. Многослойный перцептрон. Библиотека pytorch: тензоры, автоматическое дифференцирование, динамический граф. Лабораторная работа: Распознавание номеров домов с помощью многослойного перцептрона.
02Модуль 2. Сверточные нейронные сети (8 ак. ч.)
Разметка и предварительная обработка изображений. Форматы разметки изображений: YOLO, COCO, PascalVOC. Платформа Roboflow. Предварительная обработка изображений: нормализация, аугментация. Создание собственных датасетов и загрузчиков данных (DataLoaders). Сверточные нейронные сети. Операция свертки. Принципы работы сверточных слоёв, пулинга и активаций. Архитектуры сверточных нейронных сетей: LeNet, AlexNet, VGG, ResNet, YOLO. Библиотека transformers. Конвейеры в библиотеке transformers. Перенос обучения в задачах классификации. Лабораторная работа: Разметка изображений в Roboflow. Лабораторная работа: Классификация блюд с помощью модели LeNet. Лабораторная работа: Распознавание номеров домов с помощью модели LeNet.
03Модуль 3. Нейронные сети архитектуры «трансформер» в компьютерном зрении (8 ак. ч.)
Модели с механизмом внимания (Attention Mechanisms). Трансформеры в компьютерном зрении: Swin, CvT, DINAT, MobileViT, DETR. Генеративные модели. Классические подходы: GMM, HMM, авторегрессия. Глубокое обучение: автоэнкодеры VAE и состязательное обучение GAN. Оценка качества генеративных моделей: IS, FID. Слияние генеративных моделей с трансформерами на примере StableDiffusion. Лабораторная работа: Мониторинг использования средств индивидуальной защиты на стройке с помощью модели DETR.
04Модуль 4. Практическое применение моделей компьютерного зрения (10 ак. ч.)
Обнаружение объектов: классификация, локализация. Оценка качества обнаружения объектов. Точность (Precision), полнота (Recall), доля правильных ответов (Accuracy), mAP. Cемантическая, экземплярная и паноптическая сегментация изображений. Оценка качества сегментации: IoU, пиксельная точность (Pixel Accuracy), коэффициент кубика (Dice Coefficient). Задачи обработки видео: обнаружение объектов, слежение, распознавание действий, описание объектов. Модели для анализа последовательностей кадров: RNN, LSTM, GRU, 3D-CNN и трансформеры. Оценка качества при анализе видеоданных (Accuracy, mAP, F1). Распознавание текста (OCR). Технологии и архитектуры OCR: EAST, CRAFT, CRNN и CNN+RNN, подходы на базе трансформеров (TrOCR). Инструменты и библиотеки OCR: Tesseract, PaddleOCR, EasyOCR, torchvision, transformers. Оценка качества распознавания текста: CER, WER. Семантический вывод. Генерация описаний изображений (Image Captioning). Вопросно-ответные системы по изображениям (Visual Question Answering, VQA). Применение CLIP для семантического вывода. Лабораторная работа: Сегментация изображений с помощью модели MaskFormer. Лабораторная работа: Обнаружение выбоин на дорогах по видео с помощью модели YOLO. Лабораторная работа: Распознавание текстов в отсканированных документах.
01Модуль 1. Введение в нейронные сети и компьютерное зрение (6 ак. ч.)
Задачи компьютерного зрения: классификация, обнаружение объектов, сегментация, семантический вывод и т.д. История решения задач компьютерного зрения и обзор современных подходов. Теория нейронных сетей: вычислительный граф, обратное распространение ошибки, оптимизация функции потерь. Многослойный перцептрон. Библиотека pytorch: тензоры, автоматическое дифференцирование, динамический граф. Лабораторная работа: Распознавание номеров домов с помощью многослойного перцептрона.
02Модуль 2. Сверточные нейронные сети (8 ак. ч.)
Разметка и предварительная обработка изображений. Форматы разметки изображений: YOLO, COCO, PascalVOC. Платформа Roboflow. Предварительная обработка изображений: нормализация, аугментация. Создание собственных датасетов и загрузчиков данных (DataLoaders). Сверточные нейронные сети. Операция свертки. Принципы работы сверточных слоёв, пулинга и активаций. Архитектуры сверточных нейронных сетей: LeNet, AlexNet, VGG, ResNet, YOLO. Библиотека transformers. Конвейеры в библиотеке transformers. Перенос обучения в задачах классификации. Лабораторная работа: Разметка изображений в Roboflow. Лабораторная работа: Классификация блюд с помощью модели LeNet. Лабораторная работа: Распознавание номеров домов с помощью модели LeNet.
03Модуль 3. Нейронные сети архитектуры «трансформер» в компьютерном зрении (8 ак. ч.)
Модели с механизмом внимания (Attention Mechanisms). Трансформеры в компьютерном зрении: Swin, CvT, DINAT, MobileViT, DETR. Генеративные модели. Классические подходы: GMM, HMM, авторегрессия. Глубокое обучение: автоэнкодеры VAE и состязательное обучение GAN. Оценка качества генеративных моделей: IS, FID. Слияние генеративных моделей с трансформерами на примере StableDiffusion. Лабораторная работа: Мониторинг использования средств индивидуальной защиты на стройке с помощью модели DETR.
04Модуль 4. Практическое применение моделей компьютерного зрения (10 ак. ч.)
Обнаружение объектов: классификация, локализация. Оценка качества обнаружения объектов. Точность (Precision), полнота (Recall), доля правильных ответов (Accuracy), mAP. Cемантическая, экземплярная и паноптическая сегментация изображений. Оценка качества сегментации: IoU, пиксельная точность (Pixel Accuracy), коэффициент кубика (Dice Coefficient). Задачи обработки видео: обнаружение объектов, слежение, распознавание действий, описание объектов. Модели для анализа последовательностей кадров: RNN, LSTM, GRU, 3D-CNN и трансформеры. Оценка качества при анализе видеоданных (Accuracy, mAP, F1). Распознавание текста (OCR). Технологии и архитектуры OCR: EAST, CRAFT, CRNN и CNN+RNN, подходы на базе трансформеров (TrOCR). Инструменты и библиотеки OCR: Tesseract, PaddleOCR, EasyOCR, torchvision, transformers. Оценка качества распознавания текста: CER, WER. Семантический вывод. Генерация описаний изображений (Image Captioning). Вопросно-ответные системы по изображениям (Visual Question Answering, VQA). Применение CLIP для семантического вывода. Лабораторная работа: Сегментация изображений с помощью модели MaskFormer. Лабораторная работа: Обнаружение выбоин на дорогах по видео с помощью модели YOLO. Лабораторная работа: Распознавание текстов в отсканированных документах.
Организатор
Автор курса
Мнения учеников
Отзывы о курсе
Оставьте отзыв
Расскажите о качестве обучения, поддержке и результате. Это поможет другим выбрать организацию осознанно.
Оставьте заявку
Консультант ответит на вопросы о курсе «Нейронные сети. Уровень 1. Компьютерное зрение» и поможет разобраться в деталях обучения.
Нажимая кнопку, вы даете согласие на обработку персональных данных
Направления:Машинное обучение
Информация обновлена 12 октября 2026 г.
Продолжить выбор
Похожие курсы
Начать без затрат
![[АРХИВ] Deep Learning (семестр 1, осень 2023)](https://cdn.stepik.net/media/cache/images/courses/181974/cover_bq8Ten0/442ca96b71e76542dff55bbbc4aca303.png)
![[АРХИВ] Deep Learning (семестр 1, весна 2025)](https://cdn.stepik.net/media/cache/images/courses/230362/cover_4tkfoRj/492fc6dc0234358ce905da4c4ca71bd6.jpg)
![[АРХИВ] Deep Learning (семестр 1, весна 2023): продвинутый поток](https://cdn.stepik.net/media/cache/images/courses/135003/cover_2zXJL9O/db54e2933429a4cc0c45c3035311ac6f.jpg)
![[АРХИВ] Deep Learning (семестр 2, осень 2024)](https://cdn.stepik.net/media/cache/images/courses/196142/cover_dLZWnQI/f5772a02869d297a8c6632f8c7d74b55.jpg)
