О курсе

Курс посвящен современным методам построения сложных нейросетевых архитектур и выбору оптимальных структур.

Тематический план

• Обзор типов нейросетей и описаний архитектур.
• Генетические алгоритмы от GMDH до WANN.
• Критерии качества выбора структур (обсудить через пару недель).
• Априорные предположения о структуре модели, виды распределений структурных параметров.
• Методы оптимизации структурных параметров.
• Онлайн-обучение и многорукие бандиты для порождения структур.
• Обучение с подкреплением для порождения структур.
• Передача знаний между нейросетями и оптимизация структурных параметров.
• Случайные процессы для порождения моделей.
• Порождающие состязательные сети и поиск структур.
• Порождение и отклонение структур.
• Двухуровневый байесовский выбор и семплирование Метрополиса-Хастингса.

Самостоятельная работа

Лабораторная работа состоит в исследовании метода поиска архитектуры. Первая работа – проанализировать готовый метод, вторая работа – предложить и запрограммировать свой метод. Отчет о работе – страница текста с формальным описанием метода с детализацией, достаточной для восстановления кода, и анализом ошибки (базовые критерии сложность, устойчивость, точность). Интерфейс к классу фиксирован и общий для всех, так же как и выборки. Существует общая таблица с результатами, и частный анализ ошибки каждого метода.

Оценивание

Всего 10 баллов, два балла за ответы на вопросы в течение лекций, по четыре балла за две лабораторные работы. Оценивается не точность аппроксимации, а качество кода и анализ ошибки.

Требуемые знания

Машинное обучение, глубокое обучение, байесовский выбор моделей.