Методы глубокого обучения
О курсе
Обзорный курс по основным нейросетевым моделям и их применению к различным задачам обработки изображений, текста, звука.
Тематический план
- Сети прямого распространения. Матрично-векторное дифференцирование. Автоматическое дифференцирование.
- Методы оптимизации нейронных сетей. Регуляризация DropOut. Библиотека pytorch.
- Инициализация нейронных сетей. Виды нормализации, свёрточные нейронные сети, реализация свёрточных сетей на pytorch.
- Рекуррентные нейронные сети. Решение задачи машинного перевода. Механизм внимания. Модель Transformer.
- Локализация и детекция объектов на изображении.
- Семантическая сегментация изображений. Задача Instance/Panoptic segmentation.
- Обучение с подкреплением. Марковский процесс принятия решений. Уравнения Беллмана.
- Алгоритмы Policy iteration, Value iteration. Q-обучение. Модель DQN.
- Алгоритмы Reinforce, A2C. Многорукие бандиты.
- Генеративные модели. Модель вариационного автокодировщика.
- Авторегрессионные модели PixelCNN, PixelRNN.Методы репараметризации.
- Генеративно-состязательные сети и их модификации. Метрики качества изображений
Самостоятельная работа
Всего в семестре предполагается 5 практических заданий. Каждое задание оценивается из 10-ти баллов. Все задания можно сдать спустя неделю после мягкого дедлайна со штрафом 0.3 балла в день. Экзамен оценивается из 10-ти баллов.
Оценивание
0.7 * баллы за семестр + 0.3 * баллы за экзамен.
Требуемые знания
Машинное обучение, статистика, методы оптимизации.
