Нейронные сети. Компьютерное зрение и библиотека PyTorch

Введение в курс: технические требования, облачные решения. Введение в нейронные сети: область применения, история, современность. Что такое PyTorch? Что такое тензоры, операции с тензорами. Графические изображения как тензоры. Предварительная обработка графических изображений: PIL и OpenCV. Практикум: загрузка, подготовка и вывод изображений в Jupyter Notebook.

Теория нейронных сетей: функции активации и потерь, градиенты, метрики. Создание сети в PyTorch: «многослойный персептрон» (MLP). Использование PyTorch при работе с векторами и табличными данными. Визуалиазция процесса обучения: matplotlib и tensorboard. Обучающий и валидационный датасет, мини-батчи: стратегии формирования. Настройка гиперпараметров сети (функция активации, кол-во весов). Оптимизация процесса обучения (выбор кол-ва эпох, размеров батчей, скорости обучения и т.д.). Инструменты регуляризации нейронной сети (dropout). Практикум на датасетах «рукописные цифры» и MNIST.

Операция «свертка» на примере детектора краев Собеля. Обучение простейшей сверточной нейронной сети в PyTorch (LeNetV5). Элементы сверточных сетей: слои max-pooling и др. Подбор параметров сверточной нейронной сети. Практикум на датасете MNIST.

Генераторы данных для изображений в PyTorch. Подготовка датасетов изображений для обучения классификатора. Создание сверточной нейронной сети для классификации изображений. Аугментация данных: использование преобразователей Torchvision. Загрузка моделей из различных источников. Перенос обучения на примере модели архитектуры ResNet50. Оптимизация скорости обучения при переносе. Практикум на датасете «кошки против собак».

Задача сегментации изображений: современные решения. Подход YOLO (You Only Look Once). Нейронные сети YOLOv5, Detectron2. Средства для разметки данных, подходы к разметке. Перенос обучения сети YOLOv5. Преобразования обнаруженных объектов. Практикум на различных датасетах, курсовая работа «распознавание объектов».

Выделение эмебеддингов изображений. Поиск похожих изображений на базе эмбеддингов и алгоритма kNN. Кластеризация изображений. Эмбеддинги и скрытые (latent) пространства, автокодировщики (VAE). Другие генеративные алгоритмы: GAN, StableDiffusion. Практика

Создание демонстрационного приложения на базе библиотеки Gradio.