О курсе

В спецкурсе изучается вероятностное тематическое моделирование (topic modeling) коллекций текстовых документов. Тематическая модель определяет, какие темы содержатся в большой текстовой коллекции, и к каким темам относится каждый документ. Тематические модели позволяют искать тексты по смыслу, а не по ключевым словам, и создавать информационно-поисковые системы нового поколения, основанные на парадигме семантического разведочного поиска (exploratory search). Рассматриваются тематические модели для классификации, категоризации, сегментации, суммаризации текстов естественного языка, а также для рекомендательных систем, анализа банковских транзакционных данных, анализа биомедицинских сигналов. В спецкурсе развивается многокритериальный подход к построению моделей с заданными свойствами — аддитивная регуляризация тематических моделей (АРТМ). Он основан на регуляризации некорректно поставленных задач стохастического матричного разложения. Особое внимание уделяется методам лингвистической регуляризации для моделирования связности текста. Предполагается проведение студентами численных экспериментов на модельных и реальных данных с помощью библиотеки тематического моделирования BigARTM.

Тематический план

• Задача тематического моделирования.
• Онлайновый ЕМ-алгоритм и регуляризаторы.
• Разведочный информационный поиск.
• Оценивание качества тематических моделей.
• BigARTM и базовые инструменты.
• Теория ЕМ-алгоритма.
• Байесовское обучение модели LDA.
• Тематические модели сочетаемости слов.
• Анализ зависимостей.
• Мультимодальные тематические модели.
• Моделирование локального контекста.
• Суммаризация и визуализация.

Самостоятельная работа

Нет.

Оценивание

Условием сдачи курса является выполнение индивидуальных практических заданий.

Требуемые знания

Линейная алгебра, математический анализ, теория вероятностей.