Методы глубокого обучения

Страница курса

Владимиров Эдуард Анатольевич

Дорин Даниил Дмитриевич

Киселев Никита Сергеевич

Фирсов Сергей Андреевич

Касюк Вадим Александрович

О курсе

Курс предоставляет всесторонний обзор современных методов глубокого обучения, от фундаментальных концепций до продвинутых тем.

Тематический план

  1. Многослойный персептрон, обратное распространение ошибки
  2. Оптимизация, регуляризация
  3. Инициализация, нормализация, сверточные нейронные сети
  4. Введение в обработку естественного языка, векторные представления слов
  5. RNN, LSTM, Attention, Transformer
  6. Классификация, детекция объектов
  7. Сегментация
  8. Многорукие бандиты, уравнения Беллмана, методы Монте-Карло, обучение с подкреплением, Q-обучение
  9. Планирование и двойное обучение, улучшение имеющейся стратегии, градиент по стратегиям
  10. Авто-регрессия, VAE, GAN
  11. Диффузионные модели, Flow Matching
  12. Большие языковые модели, дообучение, LoRA, RAG, агенты
  13. Мультимодальные модели, CLIP, Qwen-VL
  14. Квантизация, прунинг, дистилляция, KV-Cache, Flash Attention

Самостоятельная работа

6 домашних работ по практической реализации моделей глубокого обучения.

Оценивание

6 домашних работ дают 70 баллов + экзамен 30 баллов. Финальный балл: min(round(#points/10), 10).

Требуемые знания