Research Map
Every point is a student work from the Research Reports and Theses pages, 2022–2026. Works with similar titles and abstracts lie close to each other; squares are advisors, placed at the center of their works. Select a topic, click an advisor, or click a point to see the work.
Works 141
Select a topic, an advisor or a point on the map to list its works.
-
ProjectThesisSlides
Работа посвящена снижению размерности латентного пространства в задачах прогнозирования распределённых динамических систем по данным сети датчиков. Цель— снижение размерности латентного пространства динамической системы и построение в редуцированном пространстве оператора связности, способного описывать направленные взаимодействия между датчиками. Задачи:показатьпринципиальноеограничениесимметричныхмоделейоператора связности; построить низкоразмерное представление состояния системы через вложение Такенса; предложить параметризацию оператора в редуцированном пространстве, не ограниченную симметрийным классом; экспериментально подтвердить результаты на синтетических и реальных данных. Результаты.На синтетической системе с заведомо асимметричным оператором модель снижает ошибку прогноза на 11,1% относительно симметричной базовой модели и восстанавливает направленность переноса. На данных ЭЭГ моторного воображения прирост составляет 6,8%. Рекомендации.Модель рекомендуется для задач прогнозирования в системах с направленной связностью (нейрофизиология, транспорт, климат) и может быть использована как предиктивная компонента в контурах управления. 2 Снижение размерности латентного пространства в задачах управления
- Paper 1Paper 2Paper 3CodeSlides
-
ProjectThesisSlides
В настоящей работе исследуется применение различных матричных норм для оптимизации функций матриц весов, что является ключевой задачей при обучении глубоких нейросетей. Проводится поиск альтернатив спектральной норме для создания алгоритмов оптимизации в рамках подходаnorm-constrained linear minimization oracle (LMO). При помощи данного подхода в 2025 году научным сообществом уже были получены высокоэффективные алгоритмы для обучения глубоких нейронных сетей Muon и Scion, которые, однако, опирались именно на спектральную норму. На основе норм, двойственных к нормам Ки Фана, вводится семейство алгоритмовFanions, связанных с алгоритмами Muon, ν-SAM и Dion, а также семейства алгоритмовF-FanionsиS-Fanions, обновления которых представляют собой конические комбинации обновлений алгоритмов Fanions и Normalized SGD или SignSGD соответственно. Наиболее успешными на практике алгоритмами в данных семействах являются Muon, F-Muon и S-Muon. По результатам обширного эмпирического исследования всех трёх семейств алгоритмов показывается, что F-Muon и S-Muon не уступают Muon на задачах глубокого обучения и превосходят его на синтетической гладкой выпуклой задаче.
- PaperCodeSlides
-
ProjectThesisSlides
Artificial Text Detection (ATD) is becoming increasingly important with the rise of advanced Large Language Models (LLMs). Despite numerous efforts, no single algorithm performs consistently well across different types of unseen text or guarantees effective generalization to new LLMs. Interpretability plays a crucial role in achieving this goal. In this study, we enhance ATD interpretability by using Sparse Autoencoders (SAE) to extract features from Gemma-2-2b’s residual stream. We identify both interpretable and efficient features, analyzing their semantics and relevance through domain- and model-specific statistics, a steering approach, and manual or LLM-based interpretation. Our methods offer valuable insights into how texts from various models differ from human-written content. We show that modern LLMs have a distinct writing style, especially in information-dense domains, even though they can produce human-like outputs with personalized prompts.
-
ProjectThesisSlides
Рассматривается мультимодальное обобщение линейной задачи прогнозирования фМРТ , в которой последовательность воксельных снимков восстанавливается одновременно по видео иа у д и о п о т о к ун а т у р а л и с т и ч н о г оа у д и о в и з у а л ь н о г ос т и м у л а. Подход развивается в три этапа возрастающей методологической сложности . Отправной точкой служит одномодальная базо вая модель, предсказывающая BOLD-сигнал по мел-частотным кепстральным коэффициентам (MFCC) звуковой дорожки. Затем вводится мультимодальная модель на основе гребневой регрессии с раздельными поблочными штрафами (banded ridge), которая объединяет аудио эмбеддинг со сжатым по размерности методом главных компонент (PCA) видеоэмбеддингом и назначает каждой модальности отдельный коэффициент регуляризации , такой анализ выявляет пространственную неоднородность вкладов аудио и видео в BOLD-сигнал. Однако, наивная конкатенация переоценивает более высокоразмерный поток и смешивает относитель ные вклады двух модальностей , ас а м ам о д е л ьо г р а н и ч е н аа р х и т е к т у р н о йа с и м м е т р и е йм е ж д у низкоразмерным аудиопредставлением, сконструированным вручную, и высокоразмерным предобученным видеопредставлением . Чтобы устранить эту асимметрию , MFCC- кодировщик заменяется самообучаемым речевым трансформером той же размерности , что и видеокодиров щик, ип р е д л а г а е т с яп о в о к с е л ь н а яgated-модель: на каждой модальности независимо обучается гребневая регрессия , а два предсказания комбинируются через повоксельный скалярный гейт ↵ijk 2 [0,1]. Оптимальный гейт выводится аналитически в замкнутой форме как наклон одномерной регрессии методом наименьших квадратов , усечённый на единичный отрезок [0,1]. Полученная модель проверяется на публичном датасете натуралистичной стимуляции ЭЭГ–фМРТ, где gated-модель устойчиво превосходит обе одномодальные базовые
-
ProjectThesisSlides
В данной работе рассматривается задача оптимального управления в системе машинного обучения (МО) со скрытой петлей обратной связи. Под обратной связью понимается ситуация, когда предсказания модели на предыдущих шагах меняют обучающую выборку на текущем шаге. В работах автора [1, 2] такие системы изучались как дискретные динамические системы, найдены условия существования и сходимости их предельного множества. В настоящей работе в систему вводится управление𝑢𝑡, действующее на алгоритм обучения, а задача формулируется как максимизация суммарной награды при условии, что петля обратной связи не разрушается и система не вырождается. Постановка строится как расширение PoMDP. Оператор эволюции делится на две части, отвечающие за обучение модели и за реакцию среды, а допустимость управления задается определенным условием. Эта постановка применяется к двум сюжетам. В первом сюжете рассматривается задача прогнозирования цен на жилье, в которой наблюдается деградация системы. Во втором сюжете рассматривается метод Generative Replay в задаче непрерывного обучения. Для каждого сюжета конкретизируются оператор обучения, условие существования петли и функция награды. Получены следующие теоретические результаты. Доказаны достаточные условия допустимости управления через липшицевость функции потерь и через устойчивость алгоритма обучения к замене одного примера в обучающей выборке. Получена верхняя оценка средней ошибки модели на всех изученных задачах для произвольного расписания управления. Решена обратная задача восстановления управления по заданным целевым весам задач в финальной модели. В квадратичном приближении функции потерь выведены замкнутые формулы шага Generative Replay и спектральная оценка финальной ошибки. Отдельно получено разложение средней ошибки на компоненты смещения и дисперсии в случае одинаковых гессианов задач и независимых оптимумов. Условия сходимости в среднем квадратичном оказываются эквивалентны классическим условиям Роббинса-Монро на расписание. Все теоретические утверждения проверяются экспериментально. На синтетических задачах подтверждаются предсказания спектральной теории.
-
ProjectThesisSlides
Реконструкция визуальных стимулов по нейронным сигналам представляет собой фундаментальную задачу нейродекодирования, находящуюся на пересечении вычислительной нейронауки и современного машинного обучения. Несмотря на успехи, достигнутые с применением контрастивных представлений и диффузионных генеративных моделей, большинство существующих подходов ограничены использованием одной модальности — либо функциональной магнитно-резонансной томографии (фМРТ) с высоким пространственным разрешением, либо электроэнцефалографии (ЭЭГ) с превосходной временной точностью. Совместное использование этих модальностей остается малоизученным направлением. Декодирование формализуется в единой постановке и решается в три последовательных этапа, отвечающих возрастающей сложности учитываемой структуры данных: анализ временной динамики сигнала фМРТ, учет его совместной пространственно-временной структуры в условиях ограниченного объема выборки и мультимодальное объединение фМРТ и ЭЭГ. Завершающим этапом служит предлагаемая мультимодальная архитектура, одновременно обрабатывающая сигналы фМРТ и ЭЭГ для реконструкции визуальных стимулов. Для согласования асинхронных и неоднородных записей разработан конвейер предобработки, включающий учет гемодинамической задержки, построение индивидуальных масок мозга испытуемых и восстановление пропущенных ЭЭГ-каналов методом пространственной интерполяции. Эмбеддинги сигналов мозга контрастивно обучаются для приближения к CLIP-эмбеддингам изображений. Предложенная двухстадийная схема генерации включает синтез промежуточного латентного представления через априорную модель, обученную на совместных фМРТ–ЭЭГ эмбеддингах, и декодирование этого представления с помощью предобученной диффузионной модели SDXL. Эксперименты на открытом мультимодальном датасете подтверждают эффективность предложенной архитектуры в задаче нейродекодирования. По метрике CLIP-Score мультимодальная модель превосходит одномодальные аналоги, а интеграция диффузионной априорной модели дополнительно повышает семантическую согласованность реконструкций. Через кросс-доменное тестирование проанализированы границы применимости предложенного метода.
-
ProjectThesisSlides
Восстановление парных зависимостей из групп непарных данных Казачков Даниил Иванович Аннотация Работа посвящена восстановлению зависимости между двумя наборами величин, которые наблюдаются группами, но исходное соответствие между их элементами утрачено. Цель работы состоит в разработке метода, позволяющего по таким данным одновременно оценивать скрытое сопоставление и общую статистическую зависимость. Сформулирована вероятностная модель задачи и предложены два подхода с разными параметризациями. Нейросетевой вариационный автоэнкодер обучается стохастическим градиентным методом, а модель глобальной смеси сдвигов — модифицированным EM-алгоритмом с Sinkhorn-аппроксимацией E-шага и аналитическими обновлениями параметров. Исследовано влияние уровня шума, размера групп и объёма данных. Эксперименты на синтетических периодических данных показали, что оба подхода способны восстанавливать скрытые пары и соответствующее распределение данных. Нейросетевой подход обрабатывает новые группы без повторной оптимизации и показывает качество, сопоставимое с существующим методом. Подход с явной смесью достигает более высокой точности, когда его предположения совпадают со структурой данных. У становлено, что качество снижается при увеличении размера групп и сильном перекрытии возможных соответствий. 2 Восстановление парных зависимостей из групп непарных данных
-
ProjectThesisSlides
Качество модели машинного обучения определяется не только объёмом обучающей выборки, но и тем, сколько различной информации она несёт: две выборки одного размера могут заметно различаться по разнообразию, а с ним и по сложности задачи обучения. Существующие меры сложности данных описывают лишь локальную размерность или не улавливают семантическую геометрию порождающего распределения. В работе изучаются меры сложности выборки, не требующие разметки, а само понятие сложности формализуется через три требования из теории меры: инвариантность к перестановкам, субаддитивность и монотонность. Доказано достаточное условие корректности меры и установлены точные двусторонние границы на прирост сложности при добавлении одного объекта. Чтобы вычислить меру на реальных данных, используется предобученная диффузионная модель. Объект представляется всей своей траекторией зашумления и тем самым сравнивается с другими сразу на всех масштабах, а порождаемое расстояние является метрикой и отражает семантическую близость объектов. Эксперименты на смесях гауссиан и на изображениях MNIST подтверждают, что мера отражает семантическое разнообразие, а не объём выборки.
-
PaperCodeSlides
Физические концепции часто вдохновляют на создание новых алгоритмов машинного обучения. В частности, в генеративном моделировании в настоящее время именно такие модели являются state-of-the-art результатами. В данной работе недавно опубликованные работы генеративных моделей на основе электростатики расширяются на другую физическую концепцию - взаимодействие Юкавы. Особенности потенциала Юкавы позволяют давать лучшее качество алгоритмов генеративного моделирования и задач переноса домена.
-
PaperCodeSlides
Recurrent Transformers are a parameter-efficient approach for modeling deep computations, but their deployment in iterative settings requires controlled and stable dynamics. We study the Jacobian dynamics of a full Transformer block with Multi-Head Self-Attention (MSA), Feed-Forward Networks (FFN), and RMS normalization. We derive an explicit upper bound on the spectral norm of the full-step Jacobian, showing that RMSNorm acts as a multiplicative damping factor that prevents gradient explosion. Under mild assumptions, the Jacobian norm remains O(1) in the large-step regime. Our theoretical results, validated on synthetic and CIFAR-10 data, provide insight into stability properties of recurrent models.
-
PaperCodeSlides
Оценка направленных взаимодействий (effective connectivity) по ЭЭГ затруднена из-за нелинейности нейродинамики, смешения источников и отсутствия истинного графа связей. В работе предлагается геометрически корректный пайплайн, в котором многоканальная ЭЭГ преобразуется в траекторию SPD-матриц ковариаций, вычисленных на скользящих окнах, и отображается в касательное пространство с помощью логарифмического отображения. Для оценки направленных влияний применяется метод S-map (Empirical Dynamic Modeling): локально-взвешенная линейная регрессия да- ёт матрицу коэффициентов, интерпретируемую как локальный якобиан динамики ковариационного состояния. Качество оценок проверяется без ground truth через предсказательную валидацию, test–retest воспроизводимость и суррогатные null-тесты; при необходимости CCM используется как дополнительный инструмент causal discovery/проверки направленности. Подход позволяет получать интерпретируемые, зависящие от состояния оценки направленных взаимодействий в ЭЭГ.
-
ProjectThesisSlides
В данной выпускной квалификационной работе исследуется локальная геометрия функции потерь трансформерных архитектур на основе анализа матриц вторых производных. Несмотря на широкое применение трансформеров, точное описание их оптимизационного ландшафта остается неполным, поскольку полный блок включает несколько взаимодействующих нелинейных компонент: self-attention, residual-соединения, LayerNorm и feed-forward network. Цель работы состоит в выводе точной матрицы Гессе полного post-norm трансформерного блока и получении спектральных оценок ее блоков. В отличие от работ, рассматривающих только self-attention, в данной работе анализируется полный блок. Для произвольной дважды дифференцируемой функции потерь используется гаусс–ньютоновское разложение матрицы Гессе на внешний член и функциональный член, задаваемый кривизной самой архитектуры. В работе вводится строковая векторизация, выводятся матрицы Якоби и матрицы Гессе LayerNorm, матрицы Якоби FFN, включаются вторые производные self-attention и получается блочная формула матрицы Гессе полного трансформерного блока. Также доказывается оценка спектральной нормы полной матрицы Гессе и локальная оценка сходимости поверхности функции потерь при увеличении объема данных. ЧисленнаяпроверкапоказываетсовпадениеаналитическихформулсPyTorch autograd до численной точности и демонстрирует блочную неоднородность матрицы Гессе трансформера.
-
Publication 1Publication 2PaperCodeSlides
Hierarchical summarization is a way of organizing information from key points to more specific details. This text summarization method offers a more personalized knowledge acquisition experience, allowing to delve into a topic to any desired extent and only get into more specific details where needed. This method, however, didn’t get much attention in scientific literature, possibly due to the lack of quality datasets and proper evaluation metrics. We offer a revision of hierarchical summarization in the era of large language models (LLMs), proposing a novel approach to the task utilizing LLMs and investigating how well such models perform on this task and similar ones. We also propose novel evaluation methods designed specifically for automatic hierarchical summarization evaluation. Furthermore, we provide a new dataset of hierarchical summaries of scientific papers, offering more quality data for the evaluation of hierarchical summarization methods.
-
PaperSlides
Transformer models achieve strong classification performance but often degrade under domain shifts or unseen data. Scaling models can mitigate this issue but is computationally expensive. Parameter-efficient adaptation methods, such as Low-Rank Adaptation (LoRA), provide a lightweight alternative. We establish a theoretical foundation for LoRA in transformers, proving that empirical risk minimization with LoRA converges to true risk minimization as sample size grows. We further analyze generalization in multi-task learning (MTL) using Rademacher complexity, showing that joint training acrossTrelated tasks reduces target-task complexity by approximately1/ √ T, compared to single-task learning (STL). To demonstrate practical benefits, we evaluate our approach on the task of machine-generated text detection. Our method improves robustness under domain shifts, achieving anF 1 score 5% higher than STL and a lower empirical Rademacher complexity. These results show that parameter-efficient and theoretically grounded adaptation can substantially improve model reliability and performance in cross-domain scenarios.
-
PaperCodeSlides
Recurrent Transformers are a parameter-efficient approach for modeling deep computations, but their deployment in iterative settings requires controlled and stable dynamics. We study the Jacobian dynamics of a full Transformer block with Multi-Head Self-Attention (MSA), Feed-Forward Networks (FFN), and RMS normalization. We derive an explicit upper bound on the spectral norm of the full-step Jacobian, showing that RMSNorm acts as a multiplicative damping factor that prevents gradient explosion. Under mild assumptions, the Jacobian norm remains O(1) in the large-step regime. Our theoretical results, validated on synthetic and CIFAR-10 data, provide insight into stability properties of recurrent models.
-
PublicationCodeSlides
The Entropic Optimal Transport (EOT) problem and its dynamic counterpart, the Schr¨odinger bridge (SB) problem, play an important role in modern machine learning, linking generative modeling with optimal transport theory. While recent advances in discrete diffusion and flow models have sparked growing interest in applying SB methods to discrete domains, there remains no reliable way to assess how well these methods actually solve the underlying problem. We address this challenge by introducing a benchmark for SB on discrete spaces. Our construction yields pairs of probability distributions with analytically known SB solutions, enabling rigorous evaluation. As a byproduct of building this benchmark, we obtain two new SB algorithms, DLightSB and DLightSB-M, and additionally extend prior related work to construct theα-CSBM algorithm. We demonstrate the utility of our benchmark by evaluating both existing and new solvers in high-dimensional discrete settings. This work provides the first step toward proper evaluation of SB methods on discrete spaces, paving the way for more reproducible future studies. The code for the benchmark and all associated experiments is available at https://github.com/gregkseno/catsbench.
- ProjectThesisSlides
- VideoSlides
-
CodeThesisSlides
This paper addresses the problem of sequential decision-making under learning budget constraints. Such settings naturally arise in applications like managing a portfolio of bandit or reinforcement learning (RL) algorithms. We propose a novel UCB-type algorithm, M-LCB, designed to manage a pool ofK self-learning experts in a stochastic environment while accounting for a limited per-round learning budgetM. At each round, M-LCB selects one expert to make a decision and at mostM≤Kexperts to learn. For selection, M-LCB uses confidence bounds constructed from limited prior knowledge about the experts (i.e., mild assumptions) and their observed training losses. We derive anytime regret bounds for M-LCB that scale with the individual regrets of the experts. In particular, if each expert has regret˜O(T α)by roundT, then M-LCB guarantees an overall regret of˜O p KT /M+ (K/M)1−αT α relative to the best expert in hindsight. Finally, we demonstrate the applicability of M-LCB using self-learning experts instantiated as (i) parametric models and (ii) bandit algorithms.
-
PaperCodeSlides
Recurrent Transformers are a parameter-efficient approach for modeling deep computations, but their deployment in iterative settings requires controlled and stable dynamics. We study the Jacobian dynamics of a full Transformer block with Multi-Head Self-Attention (MSA), Feed-Forward Networks (FFN), and RMS normalization. We derive an explicit upper bound on the spectral norm of the full-step Jacobian, showing that RMSNorm acts as a multiplicative damping factor that prevents gradient explosion. Under mild assumptions, the Jacobian norm remains O(1) in the large-step regime. Our theoretical results, validated on synthetic and CIFAR-10 data, provide insight into stability properties of recurrent models.
-
ProjectThesisSlides
Модели диффузионных мостов как в непрерывных, так и в дискретных пространствах состояний в последнее время стали мощным инструментом в области генеративного моделирования. В данной работе мы используем модели бридж-матчинга для решения важной задачи в машинном обучении и теории информации: оценки взаимной информации (MI) между дискретными случайными величинами. Формулируя задачу оценки MI как проблемупереноса домена, мы конструируем эстиматор взаимной информации на основе дискретных диффузионных мостов (DBMI, Discrete Bridge Mutual Information). DBMI подходит для работы с дискретными данными, что является сложной задачей для классических эстиматоров MI. Мы демонстрируем эффективность и качество нашего метода на двух бенчмарках оценки MI: низкоразмерном и высокоразмерном (основанном на изображениях).
-
PaperCodeSlides
We introduce Implicit Weak Adversarial Networks (IWANs), a novel framework for solving high-dimensional partial differential equations (PDEs) that combines the weak adversarial network (WAN) formulation with implicit neural representations (INRs). Traditional WANs employ deep neural networks to approximate both the solution and test functions in a minimax formulation of the weak PDE problem. IWANs replace the primal network with a sinusoidal activation network (SIREN), which provides analytically computable derivatives and superior smoothness properties. This architectural innovation leads to faster convergence, improved accuracy, and better gradient flow during training. We demonstrate the effectiveness of IWANs on elliptic and parabolic PDEs in dimensions up to 100, showing significant improvements over standard W ANs. Furthermore, we explore connections to diffusion models and discuss potential applications in generative modeling through PDE-based formulations.
- PaperCodeSlides
- ProjectThesisSlides
-
PaperSlides
We examine theoretical properties of the denoising score matching estimate. We model the density of observations with a nonparametric Gaussian mixture. We significantly relax the standard manifold assumption allowing the samples step away from the manifold. At the same time, we are still able to leverage a nice distribution structure. We derive non-asymptotic bounds on the approximation and generalization errors of the denoising score matching estimate. The rates of convergence are determined by the intrinsic dimension. Furthermore, our bounds remain valid even if we allow the ambient dimension grow polynomially with the sample size.
-
ProjectThesisSlides
В данной работе исследуется проблема структурного прореживания нейронных сетей. Структурное прореживание представляет собой процесс удаления групп параметров из нейронной сети, например, фильтров в свёрточных нейронных сетях. Оптимальная стратегия прореживания позволяет повысить как обобщающую способность модели, так и эффективность выполнения инференса. Основная сложность структурного прореживания заключается в том, что удаление одного слоя требует исключения или согласованного изменения всех зависимых слоев. Предложенный метод основан на анализе вычислительного графа нейронной сети и оценке распространения информации по графу. Данный подход позволяет оценивать значимость операций в вычислительном графе в условиях few-shot обучения, то есть с использованием нескольких прямых проходов модели на подмножестве данных. Для демонстрации эффективности предложенного метода проведен ряд экспериментов на датасете MNIST.
- ProjectThesisSlides
- ProjectThesisSlides
-
CodeThesisSlides
В работе исследуется задача порождающего моделирования условного распределения медицинских изображений: построение измеримого отображения T : Rd →R d, переводящего распределение нативных компьютерных томограмм πN в распределение их контрастных аналоговπC (и обратно). Формально требуется решить транспортную задачуT#π0 = π1 в d = 5122-мерном пространстве при наличии парных наблюдений(xN ,xC)∼γ,γ∈Π(π N ,πC). Предлагается методMedical Flow Matching (MFM)— условный флоу матчинг с линейным интерполянтомxt = (1 −t )x0 + tx1. Минимизируется симуляционно-свободный функционал LCFM(θ) =E t∼U[0,1],(x 0,x1)∼γ ∥fθ(xt,t)−(x 1 −x 0)∥22, аппроксимирующий маргинальное поле скоростейut, порождающее перенос. Реализацией fθ служит архитектураTimeResNet— U-Net с поблочной аффинной модуляцией синусоидального временного эмбеддинга и свёрточным модулем self-attention на боттлнеке. В отличие от диффузионных моделей, требующих T∼ 102–103 шагов денойзинга, при линейном интерполянте кинетическая энергия потока минимальна, кривизна траектории нулевая, и интегрирование ОДУ методом Эйлера за один шаг точно с точностью до аппроксимационной ошибки сети. На отложенной выборке из 20 пациентов (9372 среза) MFM достигает MAE=4.25HU, SSIM=0.994 и PSNR=42.19дБ при времени инференса 0.125с на срез, сокращая время в354 разапо сравнению с DDPM и в7.1 раза снижая MAE по сравнению со SMILE [1]. Из симметрии линейного интерполянта следует двунаправленность: единственная сетьfθ реализует трансляцию в обе стороны без увеличения числа параметров. Прикладная значимость подтверждается тем, что nnUNetv2, обученный на синтезированных MFM нативных срезах, достигает Dice=0.926 (95.9% от уровня 0.966 на реальных данных) в задаче сегментации аорты.
-
ProjectThesisSlides
В данной работе представлена разработка бенчмарка ru-zh-SciBench для оценки качества мультиязычного retrieval научных текстов на русском, английском и китайском языках. Бенчмарк включает четыре типа задач: мультиклассовую и мультилейбл классификацию, ранжирование (reranking) и поиск перевода. Данные для бенчмарка собраны с сайта sciencechina.cn и включают 5K статей-запросов, 641K кандидатов для ранжирования и 16K статей для задач классификации. Для валидации бенчмарка проведено обучение базовых моделей на корпусе из 211 миллионов примеров, собранных из трёх источников: Elibrary (Ru-En), Semantic Scholar (En) и ScienceChina (Zh-En). Бенчмарк опубликован в open source на платформе Hugging Face и доступен для использования научным сообществом. Результаты оценки различных моделей на бенчмарке демонстрируют его применимость для сравнения качества retrieval-моделей на научных текстах.
-
PaperCodeSlides
Large Language Models (LLMs) have demonstrated remarkable capabilities in natural language understanding and generation. However, the internal representations that drive these capabilities remain poorly understood. This paper investigates the geometric structure of hidden representations in transformerbased LLMs, proposing a probabilistic framework to analyze layer-wise feature relevance. We introduce a Beta-mixture model to classify transformer layers as either useful or redundant for downstream tasks, and develop an Expectation-Maximization (EM) algorithm for parameter estimation. We compare four algorithms for feature selection and sparsity induction: Stochastic Gates (STG), Gumbel- STG, Adaptive Importance Gates (AIG), and standard L1 regularization. Drawing on insights from recent work on sample complexity in deep tabular models, we analyze how representation geometry evolves across layers and influences model performance. Our experimental results on CIFAR-10/100 with ResNet architectures demonstrate that strategic layer removal based on channel sparsity thresholds achieves significant model compression (up to 2.4×reduction in parameters) with minimal accuracy degradation (0.5-1.0% drop). We further propose a greedy algorithm that iteratively identifies and removes the least useful blocks while maintaining performance above a desired threshold.
-
PaperCodeSlides
We present a cross-architecture knowledge distillation method for transferring information between heterogeneous networks such as RNNs and CNNs. The key challenge is that their intermediate representations have different structure and depth, so a fixed, hand-crafted layer correspondence is often unreliable. Our approach learns a soft, input-dependent alignment between teacher and student layers, automatically deciding which internal components should match for each sample. Training augments the usual supervised objective with an additional term that encourages the student’s internal representations to become closer to the teacher’s under this learned alignment, while allowing different normalization choices depending on which model acts as the teacher.
-
ProjectThesisSlides
Работа посвящена количественному анализу стабилизации поверхности эмпирической функции потерь параметрических моделей при увеличении объема обучающей выборки. Целью является получение оценок достаточного размера выборки на основе локальной геометрии оптимизационной поверхности. Сформулирован унифицированный критерий𝑝-сходимостиΔ 𝑝 с функцией предпочтения точек в пространстве параметров, охватывающий одноточечную оценку и изотропное среднеквадратичное усреднение. Доказана верхняя оценка𝒪(𝑘−2)для подпространственного критерияΔ (𝐷)2 в подпространстве ведущих собственных векторов матрицы Гессе, в которой зависимость от размерности пространства параметров заменена на зависимость от размерности подпространства 𝐷. Установлены замкнутое спектральное представление критерия и экстремальность подпространства главных направлений. Разработаны масштабируемые алгоритмы оценивания на основе произведений матрицы Гессе на вектор и моментов гауссовских квадратичных форм. Полученные оценки проверены на полносвязной нейронной сети на MNIST и на трансформерной языковой моделиnanochat d6 . Наблюдаемая скорость убывания критериев согласуется с теоретическим показателем𝛼 = 2; подпространственный критерий согласуется с полнопространственным при𝐷/𝑁 <10−6 в локальном режиме квадратичной аппроксимации. Результаты применимы для обоснованного выбора достаточного объема обучающей выборки в нейронных сетях современных размеров.
-
PaperSlides
In recent years, non-convex optimization problems are more often described by generalized (L0, L1)-smoothness assumption rather than standard one. Meanwhile, severely corrupted data used in these problems has increased the demand for methods capable of handling heavy-tailed noises, i.e., noises with bounded κ-th moment. Motivated by these real-world trends and challenges, we explore sign-based methods in this setup and demonstrate their effectiveness in comparison with other popular solutions like clipping or normalization. In theory, we prove the first-known high probability convergence bounds under (L0, L1)smoothness and heavy-tailed noises with mild parameter dependencies. In the case of standard smoothness, these bounds are novel for sign-based methods as well. In particular, SignSGD with batching achieves sample complexity ˜O ∆L0d ε2 + ∆L1d 3 2 ε h 1 + σ ε κ κ−1 i , κ∈ (1, 2]. Under the assumption of symmetric noises, SignSGD with Majority V oting can robustly work on the whole range of κ ∈ (0, 2] with complexity ˜O ∆L0d ε2 + ∆L1d 3 2 ε h 1 κ2 + σ2ε2 i . We also obtain results for parameter-agnostic setups, Polyak-Lojasiewicz functions and momentum-based methods (in expectation). Our theoretical findings are supported by the superior performance of sign-based methods in training Large Language Models compared to clipping and normalization.
-
CodeThesisSlides
Low-rankadaptation(LoRA)hasbecomethedefactostandardforparameterefficient fine-tuning of large language models. Existing theoretical bounds on expressivity and generalization of LoRA are formulated in terms of algebraic rank, which fails to capture the empirical observation that trained matrices often exhibit stable rank significantly lower than their nominal rank. In this paper, we propose stable rank as a more appropriate theoretical measure for analyzing LoRA’s properties. We derive fundamental limits on single matrix approximation under stable rank constraint, extend these to expressivity bounds for fully connected networks and transformers. Additionally, we prove a tighter generalization bound proportional to p sr(∆W) rather than previous best p rank(∆W) from the literature, using a PAC-Bayesian framework. We manage to validate our theoretical findings and demonstrate via controlled experiments on synthetic data thatO( p sr(∆W) )is more practical estimate for generalization gap. Our experiments additionally confirms that lora exhibits some implicit bias toward lower stable rank solutions even when the rank of the adapter becomes as large as the width of the frozen layer.
-
ProjectThesisSlides
The Mixture-of-Experts (MoE) layer, a sparsely activated neural architecture controlled by a routing mechanism, has recently achieved remarkable success across large-scale deep learning tasks. In parallel, Neural Architecture Search (NAS) has emerged as a powerful methodology for automatically discovering high-performing neural network. However, the application of NAS methods to MoE architectures remains an underexplored research area. In this work, we propose an architecture search framework for MoE models, which explicitly leverages the underlying cluster structure of the data. We evaluate the proposed approach on computer vision benchmarks and demonstrate that it outperforms baseline MoE architectures trained on the same datasets in terms of accuracy and computational efficiency.
-
ProjectThesisSlides
В данной работе анализируются фазовые траектории сигналов ЭЭГ и фМРТ , спроецированные в латентное пространство, которое порождается контрастивно обученной моделью совместного представления этих двух модальностей. Ключевая цель исследования - изучить взаимосвязь между временными рядами фМРТ и ЭЭГ . Для её достижения были определены следующие шаги: формализовать аддитивную порождающую модель данных; обучить модель, способную отображать обе модальности в единое скрытое пространство; использовать статистические критерии для подтверждения работы модели; применить CCA и CCM для исследования взаимосвязи фазовых траекторий ЭЭГ и фМРТ , получаемых с помощью полученной модели. В итоге разработана модель, построенная на адаптации предварительно обученных энкодеров и реализующая предложенную аддитивную модель данных. С использованием методов CCA и CCM зафиксирована значимая взаимная корреляция, что подтверждает кодирование общего стимула как в ЭЭГ , так и в фМРТ . Рекомендуется формировать положительные пары из данных разных испытуемых для обеспечения инвариантности к субъекту , а также использовать обучаемые сдвиги для субъектов с регуляризацией, для избежания неявного запоминания индивидуальных особенностей испытуемого при минимизации функции потерь, что позволяет предотвратить переобучение и ухудшение результатов на тестовой выборке.
-
ProjectThesisSlides
Задача анализа данных большой размерности в условиях малого числа объектов и пропусков в признаках особенно актуальна в медицине, где число обследованных пациентов невелико, а размерность признакового описания (анализы, ЭКГ, fMRI, EEG и т. д.) велика. В таком режиме (D > N) классические модели машинного обучения (бустинги, бэггинги, нейросети) применимы ограниченно: во-первых, они склонны к переобучению; вовторых, плохо интерпретируемы, что критично для медицинских ассистентов, где врачу важно понимать, какая именно аномалия указывает на заболевание, а не получать одну лишь вероятность. В работе исследуется один из интерпретируемых методов снижения размерности — синолитические и паренклитические сети. Дана их вероятностная интерпретация, подходы обобщены на взаимодействия признаков высших порядков (через симметризацию цепного правила и обращение Мёбиуса), а их свойства проверены на синтетических датасетах с контролируемой степенью взаимозависимости признаков. Показано, что качество извлекаемых из графа признаков сопоставимо с тяжёлыми графовыми нейросетями (SGNN) и превосходит небографовые бейзлайны (XGBoost) на ряде биомедицинских задач. Новизна работы заключается в: 1) вероятностной теории паренклитики и синолитики и её обобщении на взаимодействия порядкаk; 2) новых признаках на основе агрегированных условных log-плотностейk-го порядка; 3) исследовании устойчивости предложенных моделей к уменьшению размера выборки, зашумлению и добавлению шумовых признаков; 4) экспериментальном сравнении с подходом SGNN, показывающем, что замена их синолитического графа на предложенный нами в той же pipeline повышает macro ROC-AUC.
-
ProjectThesisSlides
Алгоритм распознавания скрытых петель обратной связи в рекомендательных системах Дементьев Сергей Андреевич Рекомендательные системы периодически переобучаются на логах собственных взаимодействий, образуя замкнутый контур обратной связи, в котором наблюдаемые отклики перестают быть нейтральным измерением предпочтений. В работе построена математическая модель такого контура и установлено, что деградация персонализации складывается из двух различных каналов. Доказана теорема о стягивании разнообразия: внутрикластерный разброс предпочтений убывает геометрически под действием дрейфа вкусов по концентрированной выдаче, причём это убывание универсально и наступает даже без переобучения. Доказана теорема о переформировании выдачи: переобучение сужает ковариацию показанного контента сильнее, чем замороженная модель, оставляя отделимый след, измеримый в дисперсионной части расхождения распределений предпочтений. Получены условия активации этого следа и проверяемый порог концентрации. Теоретические выводы подтверждены серией вычислительных экспериментов на синтетических данных и наборе MovieLens-20M. Предложен практический критерий риска коллапса персонализации и показано, что явная диверсификация выдачи сохраняет разнообразие без потери качества. Результаты применимы для мониторинга и подавления нежелательных петель обратной связи в промышленных рекомендательных системах. Abstract Recommendersystemsareperiodicallyretrainedonthelogsoftheirowninteractions, forming a closed feedback loop in which observed responses are no longer a neutral measurement of user preferences. This work develops a mathematical model of the loop and shows that the degradation of personalization splits into two distinct channels. A contractiontheoremisproved:thewithin-clusterspreadofpreferencesdecaysgeometrically duetopreferencedrifttowardsaconcentratedfeed,andthisdecayisuniversal,occurring evenwithoutretraining.Areshapingtheoremisproved:retrainingnarrowsthecovariance oftheservedcontentmorethanafrozenmodeldoes,leavingaseparabletracemeasurable in the dispersion part of the divergence between preference distributions. Activation conditionsandaverifiableconcentrationthresholdareobtained.Thetheoryisconfirmed by a series of computational experiments on synthetic data and the MovieLens-20M dataset. A practical risk criterion is proposed, and explicit feed diversification is shown to preserve diversity without loss of quality. 2 Алгоритм распознавания скрытых петель обратной связи в рекомендательных системах
-
PaperCodeSlides
В работе рассматривается задача переноса индуктивного смещения в моделях глубокого обучения как задача дистилляции знаний. Под индуктивным смещением понимается совокупность предположений, которые модель явно или неявно использует для успешного обобщения на данных заданной структуры. Предлагается метод передачи индуктивного смещения из более сложных моделей, таких как рекуррентные и свёрточные нейронные сети, в более простую архитектуру многослойного перцептрона посредством дистилляции знаний. Проверка работоспособности предложенного метода проводится на дистилляции CNN-модели в MLP. Целью является придания полносвязной сети локальной инвариантности, характерной для свёрток. Показано, что использование дистилляции способствует улучшению качества модели ученика и повышает скорость сходимости параметров к оптимальным значениям по сравнению с традиционным обучением без дистилляции. Таким образом, предложенный подход демонстрирует эффективный способ внедрения индуктивного смещения сложных моделей в более простые архитектуры, повышая при этом интерпретируемость и качество итоговой модели MLP.
-
ProjectThesisSlides
Решение уравнения частных производных находит применение в задачах математической физики. В работе рассматривается их применение для решении задачи ЭЭГ. В задаче ЭЭГ трудность вызывает получение точного сигнала от головного мозга. Исследователи встречаются со следующими проблемами. Высокая чувствительность прибора к движениям и тремору, обусловленному психоэмоциональным напряжением пациента, вызывает помехи в работе, что может затруднить диагностику. А если встраивать датчики напрямую в кору мозга, то они уже сами начинают влиять на его работу, а через некоторое время приходят в негодность из-за перестройки мозга вокруг них. Поэтому стоит задача точного определения восстановления местоположения источников сигнала, при условии высокого уровня шума для работы с этими источниками в медицинских целях. Целью работы является предложить метод решения обратной задачи в частных производных. Предлагается использовать физико-информированный подход в восстановлении источников, использующийся в задачах восстановления временных рядов, вносящий априорные знания о модели для уменьшения уровня шума от данных.
-
ProjectThesisSlides
Ансамбли нейронных сетей являются стандартным способом повышения качества, устойчивости и надёжности глубоких моделей, однако их эффективность существенно зависит как от качества отдельных моделей, так и от разнообразия между ними. Большинство методов поиска архитектур нейронных сетей (Neural Architecture Search, NAS) требуют значительных вычислительных ресурсов. Их расширение до задачи поиска ансамблей нейронных сетей (Neural Ensemble Search, NES), предполагающей совместную оптимизацию архитектур отдельных моделей и состава ансамбля, приводит к экспоненциальному росту пространства поиска и делает задачу вычислительно трудноразрешимой. Для решения этой проблемы мы предлагаем метод поиска ансамблей, основанный на суррогатных моделях. Архитектуры моделей представляются в виде ориентированных ациклических графов, а две независимые суррогатные модели обучаются для оценки качества предсказаний и разнообразия архитектур посредством их отображения в латентное пространство. Совместное использование этих оценок позволяет эффективно находить архитектуры, которые одновременно обладают высокой индивидуальной точностью и способствуют формированию разнообразного ансамбля. Проведённые эксперименты показывают, что построенный ансамбль достигает результатов, сопоставимых или превосходящих стандартные базовые методы, включая Deep Ensembles и Random Search, на наборах данных FashionMNIST, CIFAR-10 и CIFAR-100. 2 Content Annotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 Стр.
-
PaperCodeSlides
Equilibrium Matching (EqM) has recently emerged as a promising generative framework that learns time-invariant equilibrium dynamics, contrasting with the non-equilibrium dynamics of traditional diffusion and flow-based models. By discarding time-conditioning in favor of an implicit energy landscape, EqM allows for flexible optimization-based sampling. In this work, we analyze the properties of EqM and propose several critical extensions. First, we investigate the stability of the training objective by introducing a Second-Order regularization term based on Hutchinson's estimator to align the Hessian of the energy landscape. Second, we extend EqM to Latent Spaces (LEqM) using VAEs to scale generation capabilities. Third, we implement Conditional Generation using Adaptive Group Normalization (AdaGN). Finally, we provide a detailed analysis of sampling dynamics using UMAP visualizations and explore alternative noise scheduling strategies (Beta distribution) to address training instabilities. Our experiments on MNIST and CIFAR-10 demonstrate that while standard EqM is robust, second-order constraints and smooth gradient scaling functions ($c(\gamma)$) can significantly influence convergence and generation quality.
-
PaperCodeSlides
In ranking tasks, gradient boosting has long been the preferred approach over neural networks, with increasingly complex loss functions emerging each year to directly optimize specific metrics. However, we combined one of the earliest loss functions with a lightweight transformer and achieved results that significantly outperform gradient boosting. Furthermore, our method substantially improves upon previous attempts to apply transformers to ranking problems. While transformers can achieve very high metric scores, this often requires a large number of epochs. We address this issue by enhancing the training approach for our neural network.
-
ProjectThesisSlides
Most user-related data can be represented as a sequence of events associated with a timestamp and a collection of categorical labels. For example, the purchased basket of goods and the time of buying fully characterize the event of the store visit. Anticipation of the label set for the future event called the problem of temporal sets prediction, holds significant value, especially in such high-stakes industries as finance and e-commerce. A fundamental challenge of this task is the joint consideration of the temporal nature of events and label relations within sets. The existing models fail to capture complex time and label dependencies due to ineffective representation of historical information initially. We aim to address this shortcoming by presenting the framework with a specific way to aggregate the observed information into time- and set structure-aware views prior to transferring it into main architecture blocks. Our strong emphasis on input arrangement facilitates the subsequent efficient learning of label interactions. The proposed model is called Label-Attention NETwork, or LANET. We conducted experiments on four different datasets and made a comparison with four established models, including SOTA, in this area. The experimental results suggest that LANET provides significantly better quality than any other model, achieving an improvement up to 65% in terms of weighted F1 metric compared to the closest competitor. Moreover, we contemplate causal relationships between labels in our work, as well as a thorough study of LANET components’ influence on performance. We provide an implementation of LANET to encourage its wider usage.
- ProjectPaperSlides
-
ProjectThesisSlides
Матрицы ковариации многомерных временных рядов лежат в римановом пространстве SPD матриц. Свойства этого пространства используются для решения задач классификации многомерных временных рядов. Проблема использования этого же подхода для прогнозирования многомерных временных рядов заключается в том, что, в отличие от задач классификации, нет возможности решать задачу в пространстве SPD матриц. Предлагаются прогностические модели, использующие риманову геометрию SPD матриц, и исследуется качество их прогноза в зависимости от свойств прогнозируемых временных рядов. Основные свойства, препятствующие повышению качества прогноза, являются потеря информации о фазе сигнала при вычислении матриц ковариации и отсутствие явной зависимости будущих значений временных рядов от ковариаций. Предлагается метод обнаружения и оценки эффекта потери фазовой информации, основанный на методе перекрестного сходящегося отображения. На синтетическом наборе временных рядов с особыми свойствами достигается повышение качества прогноза, иллюстрируя важность выдвинутых предположений.
-
ProjectThesisSlides
В работе рассматривается задача выбора архитектуры модели глубокого обучения (NAS) с контролем характеристик на заранее неизвестном целевом устройстве. Предлагается метод, сочетающий точность модели и эффективность аппаратного исполнения. Рассматриваемый подход основан на дифференцируемом поиске архитектур (DARTS), в котором оптимизируются структурные параметры градиентными методами путём релаксации дискретной задачи к непрерывной. В отличие от базового подхода, в предлагаемом методе архитектурные параметры сети задаются как функции векторного параметра сложности. Его компоненты трактуются как штрафы за соответствующие операции, что обеспечивает детальный контроль структуры модели. Для совместного обучения весов и архитектуры используется распределение Gumbel-Softmax — непрерывная аппроксимация категориального распределения, позволяющая оптимизировать дискретный выбор операций градиентными методами. Кроме того, задействуются гиперсети — вспомогательные нейросети, которые по заданному вектору сложности генерируют веса для основной сети. Такое сочетание даёт возможность одновременно оптимизировать несколько архитектур на разных уровнях сложности в рамках одного обучения, формируя семейство моделей, адаптированных к разнообразным вычислительным ресурсам. Эксперименты на CIFAR-10 и Fashion-MNIST показывают, что метод эффективно находит архитектуры, обеспечивающие компромисс между точностью и задержкой на целевом оборудовании.
-
ProjectThesisSlides
Исследуется проблема верификации искусственно сгенерированных текстовых последовательностей с целью повышения их интерпретируемости. Исследование охватывает различные постановки задач классификации, направленные на детекцию и интерпретацию машинно-сгенерированных фрагментов. Предлагаются методы, основанные на механизме самовнимания, а также включающие элементы статистического анализа. Также охватываются методы мультизадачного подхода обучения, который позволяет проводить регуляризацию признаковых представлений текстовых фрагментов и повышать обобщающую способность моделей. Эффективность предложенных теоретических результатов оценивается на синтетических и реальных наборах данных, включая наборы из международных соревнований по детекции сгенерированных текстов. Полученные результаты демонстрируют практическую значимость архитектурных решений для выявления искусственно сгенерированных слов, предложений и смысловых блоков документов в условиях многодоменных и многоязычных сценариев, способствуя развитию методов верификации текстовых данных.
- ProjectThesisSlides
-
ProjectThesisSlides
Решается задача прогнозирования наборов временных рядов с высокой ковариацией и высокой дисперсией. Для решения данной задачи предлагается построить пространство парных расстояний, представляющего метрическую конфигурацию временных рядов. Прогноз осуществляется в данном пространстве, а затем результат возвращается в исходное пространство с использованием метода многомерного шкалирования. В данной работе предлагаются порождающие модели для прогнозирования наборов временных рядов в метрическом вероятностном пространстве. Новизна работы заключается в применении римановых моделей для прогнозирования и использовании римановых генеративных диффузных моделей.
-
ProjectThesisSlides
В работе предлагаются 3 новых смещенных оператора сжатия. Рассматривается их применения в задачах распределенной оптимизации. Получены теоретические гарантии сходимости методов с этими операторами в случаях одного и нескольких устройств, оценена асимптотика сходимости. Проведены численные эксперименты, показывающие превосходство предложенных операторов над стандартными: Top-k, Rand-K, для случая 1 устройства на примере классических алгоритмов машинного обучения и нейросетей.
-
ProjectThesisSlides
В данной работе представлены два исследования, посвящённые задаче исправления грамматических ошибок в текстах с использованием подхода Sequence Tagging. В первом исследовании описывается адаптация модели GECToR для русского языка. С учетом недостатка размеченных данных, для обучения модели был создан синтетический набор данных. Разработанная модель показала хорошие результаты на синтетических данных F0.5 = 82.5, а также продемонстрировала способность к переносу знаний на тестовый набор данных RULEC без дополнительного обучения F0.5 = 22.2. Во втором исследовании предлагается полностью автоматизированный, не требующий разметки подход к решению задачи исправления грамматических ошибок. Метод основан на генерации данных с использованием алгоритма Левенштейна для исправления грамматических ошибок на уровне подслов с использованием правил: keep, append, replace и delete. Подход универсален для любого языка и не требует дополнительной разметки. Применение данного метода к оригинальной модели GECToR позволило достичь конкурентных результатов на английском языке: F0.5 = 62.4 на CoNLL-2014 и F0.5 = 61.9 на BEA-2019, при этом не потребовалось ни аннотирования данных, ни составления словаря грамматических правил. Таким образом, совместное рассмотрение обоих исследований демонстрирует возможности применения и адаптации Sequence Tagging моделей как для языков с достаточным количеством размеченных данных, так и для языков, где количество таких данных ограничено.
-
ProjectThesisSlides
В данной работе рассматривается проблема федеративного обучения. В подобных задачах зачастую требуется передавать большие объемы данных между устройствами, что может привести к узким местам в коммуникации. Для решения этой проблемы применяются операторы сжатия, которые позволяют уменьшить объем передаваемых данных. Однако, существующие методы сжатия не учитывают важность отдельных координат в процессе оптимизации, что может негативно сказаться на скорости сходимости алгоритмов. Для решения этой проблемы в работе вводится новое семейство операторов сжатия ImpK, основанное на механизме важности, и исследуются их свойства. Также предлагается новый механизм компенсации ошибок SCAM, который значительно улучшает скорости сходимости как для новых операторов сжатия, так и для существующих смещенных компрессоров. Проведенные эксперименты на различных архитектурах подтверждают эффективность предложенных методов и их превосходство над существующими решениями в области распределенной оптимизации.
-
ProjectThesisSlides
В последние несколько лет в области генеративного моделирования активно развиваются Flow Matching (FM) методы. Одно из желаемых свойств этих методов, это возможность обучать потоки с прямыми траекториями, реализующими оптимальные транспортные (Optimal Transport, OT) перемещения. Прямолинейность траекторий критически важна для быстрого и качественного семплирования из моделей. Однако большинство существующих методов спрямления траекторий основаны на нетривиальных итеративных процедурах, которые накапливают ошибку в процессе обучения, или используют эвристики, опирающиеся на мини-батч OT. Чтобы исправить эти недостатки, я разработал и теоретически обосновал новый подход — Optimal Flow Matching (OFM), который позволяет восстановить решение оптимального транспорта для квадратичной функции потерь всего за один шаг FM минимизации. Основная идея этого подхода заключается в использовании прямых векторных полей, параметризованных выпуклыми функциями. Все теоретические свойства и практическая эффективность метода были подтверждены в большом количестве экспериментов на реальных прикладных задачах.
-
ProjectThesisSlides
Generative Flow Networks (GFlowNets) are a family of generative models that learn to sample objects with probabilities proportional to a given reward function. Recent results show a close relationship between GFlowNet training and entropyregularized reinforcement learning (RL) problems with a particular reward design. Inspired by this we also identify the dormant neuron phenomenon in GFlowNets , where a model’s network suffers from an increasing number of inactive neurons, thereby affecting network expressivity. To address this issue, we use a simple and effective method (ReDo) that Recycles Dormant neurons throughout training. Our experiments demonstrate that this method maintains the expressive power of networks in GFlowNets by reducing the number of dormant neurons and results in improved performance.
-
ProjectThesisSlides
Аннотация — Гессиан нейронной сети является важным аспектом для понимания ландшафта потерь и характеристики сетевой архитектуры. Матрица Гессе фиксирует важную информацию о кривизне, чувствительности и локальном поведении функции потерь. Наша работа предлагает метод, который улучшает понимание локального поведения функции потерь и может использоваться для анализа поведения нейронных сетей, а также для интерпретации параметров в этих сетях. В этой работе мы рассматриваем подход к исследованию свойств глубокой нейронной сети с использованием Гессеана. Мы предлагаем метод оценки нормы матрицы Гессе для определенного типа нейронных сетей, таких как сверточные. Мы получили результаты как для одномерных, так и для двумерных сверток, а также для полностью связанной головы в этих сетях. Наш эмпирический анализ подтверждает эти выводы, демонстрируя сходимость в ландшафте функции потерь. Мы оценили гессианскую норму для нейронных сетей, представленных как произведение матриц, и рассмотрели, как эта оценка влияет на ландшафт функции потерь.
-
ProjectThesisSlides
The phylogenetic relationship between tomistomas, gavials, crocodiles, and alligators remains unresolved due to conflicting morphological and molecular evidence. This study introduces a machine learning framework to analyze brain endocasts derived from CT scans, aiming to resolve these evolutionary uncertainties. We first segmented brain endocasts from crocodilian cranial scans using a 2D U-Net architecture, achieving a mean Dice score of 0.75. A ResNet classifier WILL BE trained on segmented endocasts to distinguish crocodiles from alligators. Applying this model to tomistomas and gavials revealed a closer neuroanatomical affinity to crocodiles, supporting the shared ancestry hypothesis. Grad-CAM visualizations WILL BE used to identify critical discriminative features. Results demonstrate the potential of explainable deep learning to address phylogenetic controversies, offering a scalable, data-driven alternative to subjective morphological comparisons. This work bridges computational radiology and evolutionary biology, providing a template for quantitative neuroanatomical phenotyping in extinct and extant species.
-
ProjectThesisSlides
This paper tackles the problem of constructing suboptimal models within multitask learning paradigm. Given a set of intrinsically related tasks, the goal is to uncover a shared structure—known as the inductive bias—across all tasks. By applying constrained evolutionary symbolic regression, we show that these models can be decomposed in a way that reveals the tasks’ underlying structure. We conduct experiments on synthetic data and dataset of numbers MNIST, where the data structure, generation process, and optimal models are known. The results indicate that the models produced by the proposed method are indeed optimal for their respective tasks.
-
ProjectThesisSlides
This paper presents a method to solve an ordinal classification problem where the objects are described with a set of partially ordered features. To construct an ordinal classification model we aggregate partial orders of features by weighting the incidence matrices of partial order graphs. To describe set of possible solutions we use partial order cones corresponding to the incidence matrices and find a solution of the classification problem as the projection of a vector of response variables to a superposition of the cones. We propose a method of optimum parameter estimation for the ordinal classification model. The method is applied to the Football Player List, Student Marks List and Red List categorization problems.
-
ProjectThesisSlides
Даннаяработапосвященаобнаружениюгаллюцинацийвмультимодальныхмоделяхприобработкенеобычныхилинарушающихздравыйсмыслизображений.Мыпредставляемметоды, использующие несовершенства больших визуально-языковых моделей, которые склонны к генерации недостоверных описаний в ответ на визуальные аномалии. Основной подход заключается в применении логического вывода в естественном языке (NLI) к атомарнымфактам,извлечённымизописанийизображений,гдепротиворечияслужатиндикатором визуальной нереалистичности. Дополнительно мы исследуем линейный пробинг скрытых представлениймоделейсцельюразличенияреалистичныхинереалистичныхизображений. ПредлагаемыеметодыоцениваютсянавыборкахWHOOPS!иWEIRD,атакжесравниваются собучаемымметодом,использующимагрегированиепредставленийфактовсвесами,соответствующими их важности в механизме внимания. Полученные результаты показывают, что склонность LVLMs к галлюцинациям может служить полезным свойством для оценки реалистичностиизображений,чтоспособствуетсозданиюинтерпретируемыхинструментов длядиагностикимультимодальныхгаллюцинаций. 2 Detection of Multimodal Hallucinations Based on Internal Representations and Activations of Models KseniiaPetrushina Submitted to the Moscow Institute of Physics and Technology on June 18, 2025 ABSTRACT The focus of this work is on the detection of hallucinations in multimodal models in presence of unusualorcommonsense-defyingimages.Weproposemethodsthatleveragetheimperfectionsof largevision-languagemodels(LVLMs),whichtendtogeneratehallucinationswhenpresentedwith images that violate everyday knowledge. Our primary method applies natural language inference (NLI) to atomic facts extracted from image descriptions, identifying internal contradictions as a signalofvisualabnormality.Wefurtherexplorelinearprobingtechniquesoverhiddenrepresentations of LVLMs, evaluating their capacity to distinguish between realistic and unrealistic images. Both methodsareevaluatedonbenchmarkssuchasWHOOPS!andWEIRD.Additionally,weconsider a learning-based approach that generalizes contradiction modeling via attention pooling over fact representations.Theresultsdemonstratethathallucination-pronebehaviorofLVLMs,whencarefully analyzed,canserveasavaluablecueforidentifyingimagesthatlackrealism.Thisworkcontributes towarddevelopinginterpretabletoolsformultimodalhallucinationdetectionandrealismestimation.
-
ProjectThesisSlides
В современном мире машинное обучение невозможно представить без использования больших обучающих выборок и моделей. Это обусловило широкое применение стохастических методов обучения, таких какSGD. Несмотря на простоту,SGD обладает слабыми теоретическими гарантиями сходимости, связанными с неубывающей дисперсией. Данная проблема может быть частично устранена с помощью модификаций, таких какSARAH. Однако эти методы требуют периодического вычисления полного градиента, что может быть затратным по времени. В данной работе были рассмотрены варианты алгоритмов с уменьшением дисперсии, не предполагающие необходимость вычисления полного градиента. Для повышения эффективности по памяти и исключения этих вычислений были использованы два ключевых подхода: эвристика перемешивания и идея, лежащая в основе методовSAG/SAGA. В результате были улучшены существующие оценки для алгоритмов с уменьшением дисперсии без вычисления полного градиента. В случае невыпуклой целевой функции полученная оценка совпадает с классическими методами на основе перемешивания, а для сильно выпуклой задачи достигается улучшение. Проведён всесторонний теоретический анализ, а также представлены масштабные экспериментальные результаты, подтверждающие эффективность и практическую применимость предложенных методов в задачах обучения на больших данных.
-
ProjectThesisSlides
Классические результаты стохастической оптимизации, как правило, формулируются в терминах числа итераций, необходимых для достижения 𝜀-точности по математическому ожиданию функции. В данной работе разрабатывается обёртка над алгоритмами сходимости по математическому ожиданию, обеспечивающая гарантию сходимости с высокой вероятностью для задач выпуклой оптимизации и седловых задач, причем за эффективную сложность и для функций различной степени гладкости и выпуклости. Полученные гарантии сходимости подтверждаются на вычислительных экспериментах.
-
ProjectThesisSlides
В век экспоненциального роста количества доступной информации в мире особенноактуальнойстановитсязадачаструктурированияисистематизациинаучных знаний, а также повышения их доступности. Иерархическая организация основныхидейирезультатоввнаучныхпубликацияхможетпозволитьускорить процесс получения читателем знаний и позволить ему двигаться при изучении темы от главного к деталям. Одним из видов структурированного представления текста являются интеллект-карты из предложений, или иерархические сводки. Поскольку человеческая обработка больших коллекций текстовых документов, особенно научных, занимает много времени и ресурсов, для решения задачи их иерархической суммаризации необходимо разрабатывать автоматические методы, по качеству не уступающие ручной суммаризации. Перспективным инструментом решения данной задачи являются большие языковые модели (БЯМ). В данной работе исследуется способность больших языковых моделей строить иерархические представления текстов научных публикаций.Основнымметодомоценкикачестваиерархическойсуммаризации,как и обычной суммаризации, является оценка сходства с эталонной сводкой. Поскольку на данный момент не существует выборок для данной задачи, предварительно создается выборка интеллект-карт по ряду научных статей для сравнения со сгенерированными автоматически. Иерархическая суммаризация с помощью БЯМ оценивается в сравнении с сводками из этой выборки с учетом различных аспектов сходства иерархических сводок, таких как структура, семантика, ранжирование фактов в иерархии и другие. Применяемыедосихпорметодысравнениятекстовыхиерархийоснованына сравнении их на лексическом уровне и, как показано в данной работе, слабо учитывают их структуру и семантику. С связи с этим в данной работе предлагается также новый метод сравнения текстовых деревьев — расстояние редактирования текстовых деревьев (TTED), основанный на расстоянии редактирования и оценке семантической близости с помощью языковых моделей. Для оценки информативности функции расстояния между текстовыми деревьями как агрегации разных аспектов их различия вводятся𝑅𝑆- и 𝑅𝑀-коэффициенты, отражающие относительную чувствительность фукнции сходства к семантическим и структурным различиям текстовых деревьев по отношению к перефразированию предложений в вершинах, а также предлагаются несмещенные оценки на эти коэффициенты по выборкам текстовых деревьев. С помощью этих оценок даётся количественная оценка качества предложенной метрики и ее модификаций в сравнении с использованной до этого.
- PaperCodeSlides
-
ProjectThesisSlides
Изучение низкоразмерных представлений, сохраняющих причинно–следственную структуру, является ключевым шагом на пути к интерпретируемому моделированию многомерных динамических данных. В тезисе представлен линейный автокодировщикCaSCA, который разбивает скрытое пространство на каузальный блок, фиксирующий отложенное направленное влияние от одного многомерного ряда к другому, и реконструктивный блок, сохраняющий остаточную дисперсию. Расширения для траекторных эмбеддингов, римановых ковариационных пространств и нейросетевого варианта с дифференцируемым методом сходящегося перекрёстного отображения расширяют фреймворк. Вычислительный эксперимент на двух реальных наборах данных – записях с использованием двух акселерометров и гироскопа и ЭЭГ—ИИМ, полученных во время игры в настольный теннис, – показывают, что CaSCA (i) уменьшает мультиколлинеарность, (ii) восстанавливает сигналы с незначительной потерей объясняемой дисперсии и (iii) улучшает последующее прогнозирование. Таким образом, метод предлагает компактное, поддающееся интерпретации пространство состояний, в котором причинно-следственные связи легче обнаруживать и использовать.
-
ProjectThesisSlides
Исследуется проблема прогнозирования распределения тематик в медиапотоке. Показано, что классические регрессионные подходы прогнозирования неустойчивы к появлению нерегулярных циклических циклических изменений с переменным периодом. Предлагается метод ARFilter, который повышает точноть регрессионных моделей с помощью выделения подмножества слов словаря, коррелирующих с временным распределением соответствующих тематик. Для отобранных слов строятся локальные прогнозы их нормированных долей, которые затем агрегируются в прогноз распределения тематик. На синтетических данных метод снижает ошибку прогноза в десять раз по сравнению с базовым подходом ARIMA. Разработанный подход не зависит от выбора конкретной авторегрессионной модели и эффективен для прогнозирования высоковолатильных тематических распределений.
-
ProjectThesisSlides
В работе рассматривается задача бинарной классификации частичных доказательств в формальном языке Lean 4. Для этого был подготовлен датасет с частичными доказательствами на языке Lean4, а также предложено два интерпретируемых метода, основанных на анализе матриц внимания большой языковой модели (БЯМ) DeepSeek-Prover-v2-7b. Построенные классификаторы достигли большей точности предсказания, чем бейзлайны. Один из методов показал улучшение в точности предсказания на более, чем 3% относительно собственной оценки БЯМ в режиме запроса без обучения. 3 Глава
-
ProjectThesisSlides
TheInformationBottleneck(IB)principleoffersaninformation-theoreticframeworkforanalyzing thetrainingprocessofdeepneuralnetworks(DNNs). Itsessenceliesintrackingthedynamicsof two mutual information (MI) values: between the hidden layer output and the DNN input/target. AccordingtothehypothesisputforthbyShwartz-Ziv,Tishby(2017),thetrainingprocessconsists oftwodistinctphases: fittingandcompression. Thelatterphaseisbelievedtoaccountforthegood generalization performance exhibited by DNNs. Due to the challenging nature of estimating MI between high-dimensional random vectors, this hypothesis was only partially verified for NNs of tinysizesorspecifictypes,suchasquantizedNNs. Inthiswork,weintroduceaframeworkforconducting IB analysis of general NNs. Our approach leverages the stochastic NN method proposed byGoldfeldet. al.(2019)andincorporatesacompressionsteptoovercometheobstaclesassociated withhighdimensionality. Inotherwords,weestimatetheMIbetweenthecompressedrepresentationsofhigh-dimensionalrandomvectors. Theproposedmethodis supportedbyboththeoretical and practical justifications. Notably, we demonstrate the accuracy of our estimator through synthetic experiments featuring predefined MI values and comparison with MINE (Belghazi et. al., 2018). Finally,weperformIBanalysisonaclose-to-real-scaleconvolutionalDNN,whichreveals newfeaturesoftheMIdynamics.
-
ProjectThesisSlides
В настоящей работе рассматривается задача детекции фрагментов машинносгенерированного в документе, которая стала актуальной с возросшей популярностью больших языковых моделей и их повсеместным использованием при написании различных текстов. Данная задача является совокупностью двух различных задач, а именно выделение фрагментов различного авторства на основе смены стилистики текста, и их последующая классификация. В работе предлагаются методы решения трех подзадач - классификации автора всего документа, детекции смены авторов по фиксированным и известным позициям, а также задача детекции смены стиля на произвольной позиции. Все методы используют модель трансформера с дообучением для каждой подзадачи, кроме того для решения второй подзадачи дополнительно используется слой с марковской линейной цепочкой для учета контекста между фрагментами. Дополнительно предлагается учитывать контекст в документе с помощью скользящего окна в случае, когда необходимо разбить документ на фрагменты.
-
ProjectThesisSlides
Широкое внедрение систем машинного обучения в масштабах общества требует глубокого понимания долгосрочных последствий, которые эти системы оказывают на окружающую среду, включая потерю доверия, усиление ошибок и нарушение требований безопасности искусственного интеллекта. В данной работе вводится процесс многократного обучения для совместного описания нескольких явлений, таких как петли обратной связи (feedback loop), усиление ошибок (error amplification), дрейф понятий (concept drift), эхо-камеры (echo chambers) и другие. Этот процесс включает в себя весь цикл получения данных, обучения прогностической модели и предоставления прогнозов конечным пользователям в рамках единой математической модели. Отличительной особенностью многократного обучения является то, что состояние среды с течением времени становится зависимым от результатов работы модели, что нарушает обычные предположения о распределении данных. В данной работе вводится модель динамических систем процесса многократного обучения и находится предельное множество функций плотности вероятностей данных для режимов работы системы с положительной и отрицательной петлей обратной связи. Также проводится серия вычислительных экспериментов для задачи обучения с учителем на двух синтетических наборах данных. Экспериментальные данные соответствуют теоретическим предсказаниям, полученным на основе динамической модели. Результаты данной работы демонстрируют применимость предложенного подхода к изучению процессов многократного обучения в системах искусственного интеллекта и открывают широкие возможности для дальнейших исследований в этой области.
- ProjectThesisSlides
-
CodePaperSlides
In this paper we expand the algorithm proposed in [ 1] to Saddle Point Problems from [ 2]. In this paper, we expand algorithm proposed in the paper [1] using a FOAM algorithm described in [2] in order to create Optimal Gradient Sliding for Saddle Point Problems.
-
ProjectPaperSlides
In 1966, Helge Tverberg [ 1] proved that for any (r − 1)(d + 1) + 1 points in Rd, there exists a partition of them into r parts whose convex hulls intersect. Recently, Adiprasito et al. [2] initiated the study of the no-dimensional Tverberg theorem, where the size of the point set does not depend on the dimension at a cost of a relaxed intersection requirement. This thesis presents no-dimensional Tverberg results for point sets in certain non-Euclidean spaces. Secondly, this paper studies a variation of the Tverberg’s theorem introduced by Huemer et al. [ 3] and Soberón and Tang [ 4]. Specifically, we generalize the result of Abu-Affash et al. [5] concerning Tverberg graphs in the plane to higher dimensions. Finally, we explore applications of the two approaches developed for proving Tverbergtype results. We use an optimization approach to improve bounds on the cost of a maximum matching in the plane. Using the Sarkaria’s method [ 6], we introduce a new multi-class classification model for non-linear data.
-
ProjectThesisSlides
В данной работе рассматривается проблема оптимизации «черного ящика». В такой постановке задачи нет доступа к градиенту целевой функции, поэтому его необходимо каким-либо образом оценить. Предлагается новый способ аппроксимации градиентаJAGUAR, который запоминает информацию из предыдущих итераций и требуетO(1) обращений к оракулу. Эта аппроксимация адаптирована для алгоритма Франка-Вульфа, в частности доказана сходимость для выпуклой постановки задачи. Анализируются как детерминированная постановка задачи минимизации, так и стохастическая на выпуклом ограниченном множестве Q с шумом в оракуле нулевого порядка, такая постановка довольно непопулярна в литературе. Но было доказано, чтоJAGUAR является робастной и в таком случае. Проведенные эксперименты показывают, что JAGUAR превосходит уже известные в литературе методы оценки градиента.
-
ProjectThesisSlides
Исследуются пространственно-временные характеристики в задаче декодирования временных рядов с дискретным представлением времени. Проводится анализ временной зависимости между последовательностью снимков функциональной магнитно-резонансной томографии, далее фМРТ, и видеорядом, просматриваемым человеком. Предлагается метод аппроксимации показаний фМРТ по просматриваемому видеоряду. Метод строится в предположении наличия не изменяющегося времени гемодинамической ответной реакции зависимости уровня кислорода в крови. Для каждого вокселя снимка фМРТ независимо строится линейная модель. Используется предположение марковости последовательности снимков фМРТ. Для анализа предложенного метода проводится вычислительный эксперимент на выборке, полученной при томографическом обследовании большого числа испытуемых. Проводится анализ областей мозга, реагирующих на визуальные стимулы. Предлагается метод снижения пространственной размерности временных рядов фМРТ, основанный на взвешивании активных областей мозга. Построен метод классификации сегментов временных рядов фМРТ, основанный на снижении пространственной размерности и применении римановой геометрии. Проводится вычислительный эксперимент для проверки работоспособности модели. Анализируется влияние отдельных компонент метода на качество классификации.
- CodeSlides Paper1
-
PaperSlidesCode
Автоматическая транскрипция музыки (AMT) остается важной, но сложной задачей в области поиска музыкальной информации, которую затрудняют ограниченные наборы данных MIDI и низкое качество существующих моделей. Данное исследование направлено на повышение точности транскрипции за счет использования специализированных моделей для извлечения различных музыкальных особенностей, таких как аккордовые прогрессии, тональность, ритм и типы инструментов. Для решения проблемы нехватки наборов MIDI-данных мы предлагаем использовать синтетические данные для пополнения обучающих ресурсов. Этот подход предлагает новый способ потенциального обогащения моделей AMT и развития этой области.
-
ProjectThesisSlides
Deep neural networks show their extreme efficiency in solving a wide range of practical problems. Despite this, a theoretical explanation of this phenomenon is only beginning to emerge in scientific research. For some special kinds of deep neural networks, it has been shown that depth is the key to efficiency. In particular, it has recently been shown that Tensor Train networks, i.e. recurrent neural networks, each layer of which implements a bilinear function, are exponentially more expressive than shallow networks. However, in practice, recurrent neural networks with identical layers are used, the analogue of which are Tensor Train networks with equal TT-cores. For this class of networks, the analogous result is not proved, but formulated as a Hypothesis. We prove this Hypothesis and thus close the question of exponential expressivity of traditional recurrent neural networks. We also conduct a series of numerical experiments to confirm the theoretical result.
-
ProjectThesisSlides
В данной работе исследовано несколько способов упрощения аппроксимирующих моделей с использованием методов дистилляции глубоких нейронных сетей. А именно исследована дистилляция моделей на базе трансформеров, а также модели RNN. В работе используются понятия «учителя» и «ученика» и исследуются методы для получения априорного распределения параметров для модели ученика, имеющего меньшее число параметров, чем у модели учителя, опираясь на апостериорное распределение параметров модели учителя. В статье предлагается механизм приведения пространства параметров модели учителя к пространству параметров модели ученика путем удаления слоя attention из моделей. Также проводится теоретический анализ этого механизма дистилляции. В качестве базовых моделей для дистилляции взяты модель RNN с аддитивным вниманием и модель трансформера seq2seq для задачи перевода текстов с русского на английский. Получены априорные распределения для инициализации модели ученика в случае RNN и трансформера. Ожидается лучшая сходимость, лучшее качество у дистиллированной модели по сравнению с моделью той же структуры, но с параметрами инициализации из произвольного распределения при одинаковых условиях обучения. Байесовская дистилляция Трансформеры RNN
-
ProjectThesisSlides
В практических инженерных и оптимизационных приложениях решение задач многоцелевой оптимизации (МО) часто подразумевает использование методов скаляризации – сведение задачи МО к задаче с одной целевой функцией. Хоть известные подходы могут и быть эффективными, они часто сопряжены со значительными вычислительными затратами из-за необходимости итеративных вычислений, а также их использование усложняется необходимостью подбора гиперпараметров. В этой работе предлагается расширить определение конкурентного решения и построить на его основе метод скаляризации многокритериальной задачи. Предложенный метод имеет хорошую интерпретируемость и не требует настройки гиперпараметров. Для предложенного метода скаляризации предлагается способ получения приближенного решения в случае, когда функции липшицевы и их вычисление возможно только один раз. Это актуально, когда вычисления очень дорогие или повторное вычисление невозможно. Вычислительные эксперименты, проведенные для задачи конкурирующих потоков минимальной цены, демонстрируют работоспособность и масштабируемость предложенного подхода, подчеркивая его потенциал для решения вычислительных проблем в МО в различных областях.
-
ProjectThesisSlides
Обработка многомерных временных рядов связана с дополнительной сложностью моделирования связей между наблюдаемыми сигналами. Эти зависимости могут быть весьма существенными, и их игнорирование может привести к некорректным результатам анализа. В то же время их учёт делает модели сложнее, а решение связанных задач затруднительным. В данной работе предложен непараметрический метод, основанный на тензорном представлении многомерных сигналов и подходе SSA. Получен способ декомпозиции рядов, а также выведена формула и модель прогноза. Разработанная теория применяется к данным потребления электроэнергии и погоды, полученные результаты сравниваются с моделями mSSA, V AR, RNN.
-
ProjectThesisSlides
В данной дипломной работе представлен новый генеративный процесс на специальной ортогональной группе SO(3), который является важным инструментом для моделирования вращений в трехмерном пространстве. Основное внимание уделено разработке и анализу этого процесса, а также доказательству его ключевых свойств, таких как сходимость и эквивариантность. В работе также приведены экспериментальные результаты, демонстрирующие преимущества предложенного генеративного процесса. На синтетических данных показано, что новый метод превосходит существующие подходы по точности и стабильности. Более того, проведенные эксперименты на реальной задаче условной генерации трехмерных структур молекул РНК подтверждают сходимость и практическую применимость предложенного процесса. Таким образом, предложенный генеративный процесс в пространстве SO(3) обладает значительным потенциалом для различных приложений в области молекулярной биологии и других сфер, требующих точного моделирования трехмерных структур.
-
ProjectPaperSlides
Состязательные мосты Шрёдингера на задаче трансляции домена Ксенофонтов Григорий Сергеевич В магистерской диссертации рассматривается задача трансляции домена. ЦельюисследованияявляетсяразработкановогометодарешениизадачимостовШрёдингера, который находит одноэтапное отображение, а также справляется с данными большой размерностью. Так в работе предложен новый подход, который находит решения задачи мостов Шрёдингера с помощью состязательного обучения, таким образом объединяя преимущества состязательных генеративных сетей (GAN) и мостов Шрёдингера. В данной работе проводятся эксперименты предложенного подхода на различных наборах данных, включая 2D данные и EMNIST. Полученные результаты показывают, что предложенный метод удовлетворяет всем поставленным требованиям и предлагает новый фреймворк для решения задачи мостов Шрёдингера. Abstract Adversarial Schr¨ odinger bridges on domain translation problem The master’s thesis examines the domain translation problem. The goal of the research is to develop a new method for solving the Schr¨ odinger bridge problem, which finds a one-stagemappingandalsocopeswithhigh-dimensionaldata.Thus,thepaperproposes a new approach that finds solutions to the Schr¨ odinger bridge problem using adversarial learning, thus combining the advantages of adversarial generative networks (GANs) and Schr¨ odinger bridges. In this work, experiments of the proposed approach are carried out on various datasets, including 2D data and EMNIST. The results obtained show that the proposed method satisfies all the stated requirements and offers a new framework for solving Schr¨ odinger bridges problem.
-
ProjectThesisSlides
In today’s world, banks use artificial intelligence to optimize diverse business processes, aiming to improve customer experience. Most of the customer-related tasks can be categorized into two groups: 1) local ones, which focus on a client’s current state, such as transaction forecasting, and 2) global ones, which consider the general customer behaviour, e.g., predicting successful loan repayment. Unfortunately, maintaining separate models for each task is costly. Therefore, to better facilitate information management, we compared eight state-of-the-art unsupervised methods on 11 tasks in search for a one-size-fits-all solution. Contrastive self-supervised learning methods were demonstrated to excel at global problems, while generative techniques were superior at local tasks. We also introduced a novel approach, which enriches the client’s representation by incorporating external information gathered from other clients. Our method outperforms classical models, boosting accuracy by up to 20%.
-
ProjectThesisSlides
Контрастное обучение – распространённый подход в сфере обучения без учителя. Данный метод заключается в попарном сравнении представлений объектов выборки для восстановления распределения в пространстве представлений. При этом похожие представления находятся близко, а отличающиеся – далеко. Однако исходное распределение и способ порождения данных неизвестны, а функции потерь имеют несколько локальных минимумов, не все из которых соответствуют истинному распределению. В данной работе в качестве решения данных проблем приводятся функции потерь, устраняющие смещение распределений вследствие наличия ложноотрицательных и ложноположительных пар в разметке. Предлагается несмещённая модель контрастного обучения, исследуются её свойства. Качество полученного представления оценивается в задаче классификации и в задаче VQA, для которых предложенная модель показала результат лучше, чем модель, не учитывающая смещение. Также проводится эксперимент на искусственной выборке из двумерного пространства, в котором проверяется качество восстановления исходного распределения предложенной моделью.
-
ProjectThesisSlides
Исследуется сходимость градиентных методов оптимизации первого порядка с предобуславливанием, использующих регуляризацию с затуханием весов. Особое внимание уделяется популярным методам из данного класса, таким как AdamW и OASIS. Рассматриваются три способа добавления регуляризации в методы с предобуславливанием, включая новый, промежуточный способ (масштабированное затухание весов), и изучается вопрос о том, к решению какой задачи сходится каждый из них. Показывается, что методы с затуханием весов оптимизируют не исходную регуляризованную функцию потерь, а изменённую функцию с адаптивным покоординатным регуляризатором, и доказывается нижняя оценка расстояния между решениями этих двух задач. Доказываются четыре теоремы о скорости сходимости методов с предобуславливанием и затуханием весов: в невыпуклом и сильно выпуклом случаях, каждый — в детерминированной и стохастической постановках. Проводятся вычислительные эксперименты на эталонных наборах данных и моделях, включая количественную проверку теоретических предсказаний и анализ гиперпараметров, чтобы сравнить рассматриваемые методы на реальных задачах.
-
ProjectThesisSlides
При построении модели машинного обучения неизбежно возникает проблема сбора данных для ее обучения. Зачастую, по той или иной причине, естественное требование при этом — минимизировать количество таких данных. В настоящей работе исследуется задача определения достаточного размера выборки. Рассматривается проблема определения достаточного размера выборки без постановки статистической гипотезы о распределении параметров модели. Предлагаются два подхода к определению достаточного размера выборки по значениям функции правдоподобия на подвыборках с возвращением. Эти подходы основываются на эвристиках о поведении функции правдоподобия при большом количестве объектов в выборке. Предлагаются два подхода к определению достаточного размера выборки на основании близости апостериорных распределений параметров модели на схожих подвыборках. Доказывается корректность представленных подходов при определенных ограничениях на используемую модель. Доказываются теоремы о моментах и полном байесовском прогнозе предельного апостериорного распределения параметров в модели линейной регрессии. Предлагается метод прогнозирования функции правдоподобия в случае недостаточного размера выборки. Проводится вычислительный эксперимент для анализа свойств предложенных методов.
-
Paper 1Paper 2Paper 3SlidesCodeText
We consider β-smooth (satisfies the generalized H¨ older condition with parameterβ >2) stochastic convex optimization problem with zero-order one-point oracle. The best known result was [1]: E [f(xN)−f(x∗)] = ˜O ( n2 γN β−1 β ) inγ-strongly convex case, where n is the dimension. In this paper we improve this bound: E [f(xN)−f(x∗)] = ˜O ( n2− 1β γN β−1 β ) .
-
ProjectThesisSlides
Исследуются задачи связанные с образами (составленными из элементов одежды), в частности задача дополнения образа. Рассматриваются препятствия к точному решению задачи и его аппроксимациям. Решается задача нахождения эффективного алгоритма построения дополнения. Обосновываются несколько методов аппроксимации точного решения, в частности, наиболее успешно себя показавшая генерация скрытых представлений для элементов дополнения. Производится сравнение рассматриваемых подходов. Теоретически поясняется экспериментально показанное преимущество генерации скрытых представлений над прочими рассмотренными подходами.
-
ProjectThesisSlides
В данной работе рассматривается задача дистилляции знаний в глубоких сетях. Методы дистилляции в основном не учитывают разнородность обучаемой модели, так называемого «ученика» и обучающей модели, «учителя». Разнородность моделей ведет к снижению эффективности методов дистилляции и неспособности производить дистилляцию знаний между промежуточными слоями моделей. При этом даже при похожих архитектурах, но при разном количестве слоёв, существующие методы не учитывают большое количество информации, которой распологает учитель, что ведёт не к лучшему качеству модели ученика при дистилляции знаний. Целью работы является предложить метод дистилляции, который будет учитывать больше информации от учителя, сможет работать с разными архитектурами сетей и показывать лучшее качество, по сравнению с классическими методами. Предлагается проводить дистилляцию с помощью максимизации взаимной информации между всеми слоями ученика и учителя. Вводится вариационное распределение, с помощью которого можно максимизировать взаимную информацию, предлагается его вид для свёрточных и линейных слоёв моделей. Были проведены эксперименты, показавшие эффективность предложенного метода, протестированы методы подбора гиперпараметров для данной задачи.
- CodeSlidesPaper1
-
PaperSlidesCode
В данной статье рассматривается задача сопоставления векторных представлений коллекций точек данных. Исходный набор данных состоит из размеченных пар — признаков и соответствующих им значений целевой переменной. Для достижения данной цели, рассматриваются оптимально обученные представления, которые позволяют преобразовать коллекции в векторном пространстве посредством аггрегации векторов-объектов, которые принадлежат соответствующим коллекциям. В качестве метрики качества применяется расстояние между векторами-представлениями групп.
- SlidesCode
- Paper1Paper2ThesisCodeSlides Paper1
-
ProjectThesisSlides
In our research, we investigate a novel method for sampling ensembles of deep learning models using a hypernetwork. The hypernetwork is a neural network that controls the diversity of the models by translating a parameter rep resenting ensemble diversity into a neural network architecture. Architectures are obtained in a one-shot manner by perturbing from the base architecture. We evaluate the performance of the proposed algorithm by conducting exper iments on the CIF AR-100 dataset, validating the method and comparing the resulting ensembles with those sampled by other search algorithms.
-
PaperCodeSlides
Данная магистерская диссертация основана на статье «Distributеd Nеwtоn-Type Mеthоds with Cоmmuniсаtiоn Сomprеssion and Bernоulli Aggregatiоn.» (?) за авторством Рустема Исламов, Шун Кяна, Славомира Хэнзли, Мера Сафаряна и Питера Рихтарика. Несмотря на высокие затраты на вычисления и передачу данных, методы типа Ньютон остаются одним из вариантом для распределенного обучения из-за их устойчивости к плохо обусловленным выпуклым задачам. В этой работе мы изучаем механизмы сжатия и агрегирования информации, чтобы снизить вышеупомянутые затраты при сохранении теоретических гарантий локальной сходимости. Мы доказываем, что недавно разработанный класс 3PC-компрессоров (?) для компрессии градиентов может быть обобщен и на компрессию гессианов. Этот результат открывает широкий спектр коммуникационных стратегий, таких как сжимающие операторы компрессии и ленивая агрегация, доступных в нашем распоряжении для компрессии чрезмерно дорогостоящей информации о кривизне функций. Более того, мы обнаружили несколько новых 3PC-механизмов, таких как адаптивно пороговый оператор и агрегирование Бернулли, которые требуют уменьшенное число итераций передачи и вычислений гессианов. Кроме того, мы распространяем и анализируем наш подход на двухстороннюю компрессию и частичного участия клиентов, чтобы учесть практические аспекты в федеративном обучении. Для всех наших методов мы получаем быстрые, не зависящие от числа обусловленности локальные линейные и/или сверхлинейные скорости сходимости. Наконец, проведя обширные численные эксперименты на задачах выпуклой оптимизации, мы иллюстрируем, что разработанные нами схемы обеспечивают наилучшую коммуникационную сложность по сравнению с несколькими предыдущими подходами, использующими информацию второго порядка.
-
ProjectThesisSlides
В работе рассмотрена задача классификации многомерных тра екторий физических систем. Классические методы для классификации тр аекторий как многомерных временных рядов используют предположения о ст атистических свойствах траекторий, но не используют априорную информац ию, что временные ряды являются траекториями динамических систем, по дчиняющихся физическим законам и неустойчивы к нефизическим изменения м траекторий. Для учета таких изменений требуется дополнительно обучать модели на аугментированной выборке. Целью работы является предложить м етод для классификации многомерных временных рядов, использующие инфо рмацию об их физической природе. Для этого предлагается классифициров ать не сами траектории, а динамические системы, заданные лагранжианами, соответствующие этим траекториям. Лагранжиан восстанавливается с помо щью физическиинформированных лагранжевых нейронных сетей. Предложена норма, которая вводится на пространстве лагранжианов. Она используется к ак метрика для метрических методов классификации. В основном для многоме рных классификаций используется сверточные нейронные сети, в предполож ении, что существуют статистические связи, между ближайшими точками вре менного ряда. Данные методы хорошо себя показывают во многих задачах, где эти связи являются преобладающими. Но для физических систем такие мето ды не подходят, и предлагается использовать знания о физических связях сис тем, для выбранных Лагранжевых нейронных сетей этим знанием является зако н сохранения энергии.
-
Paper1Paper2Paper3Slides1Slides2
This paper introduces TopicNet, a new Python module for topic modelling. This package, distributed under the MIT license, focuses on bringing additive regularization for topic modelling (ARTM) to non-specialists using a general-purpose high-level language. The module features include powerful model visualization techniques, various training strategies, semi-automated model selection, support for user-defined goal metrics, and a modular approach to topic model training.
-
ProjectPaperSlides
Bilevel Optimization (BLO) is a widely-used approach that has numerous applications, including hyperparameter optimization, meta-learning. However, existing gradient-based method suffer from the following issues. Reverse-mode differentiation suffers from high memory requirements, while the methods based on the implicit function theorem require the convergence of the inner optimization. The approximations that consider a truncated inner optimization trajectory suffer from a short horizon bias. In this paper, we propose a novel approximation for hypergradient computation that sidesteps this difficulties. Specifically, we accumulatetheshort-horizonapproximationsfromeachstepoftheinneroptimization trajectory. We also show that, under certain conditions, the proposed hypergradient is a sufficient descent direction. Experimental results on a few-shot meta-learning task support our findings.
- SlidesCode
- PapersSlidesThesis
- ProjectPaperSlides
-
Code oldPaper draftSlides
In the signal decoding tasks, we work with multidimensional time series, which are a discretization of a continuous process. The latest works in neural ODE illustrate the possibility to work with recurrent neural networks as with differential equations. This work addresses such applications as change of sampling rate and handling missed or irregular data. It becomes possible if we represent our signal as a continuous in time function. This approach is relevant for signals from various wearable devices: accelerometers, heart rate monitors, devices for picking up brain signals such as electroencephalograms or electrocorticograms. The main result of this work is a comparison of convolutional and differential approaches to solving P300-paradigm signal decoding task while having regular and irregular time series.
-
ProjectThesisSlides
Данная работа описывает новый метод генерации графов, который использует разделение статистических характеристик графа на две группы. Первая группа, называемая «простыми признаками», может быть вычислена эффективными детерминированными алгоритмами со сложностью не более квадратичной от числа вершин. Вторая группа характеристик генерируется в скрытом пространстве и отвечает за закономерности графа, которые невозможно описать «простыми признаками». Этот подход позволяет генерировать графы с точно заданными статистическими характеристиками, при этом сохраняя их разнообразие. Более того, данный метод может быть применен для генерации графов, имеющих схожую структуру с исходным. Это особенно полезно при работе с графами, описывающими контакты между людьми, например, граф контактов. – 4 –
- PaperSlides
-
Paper with Code
Today, neural language models are commonly employed for generation of natural like responses in dialog systems. The main issue that limits wide adoption of neural generation is related to poor predictability of responses in terms of content, as well as dialog attributes such as dialog acts and sentiment. In this paper we propose a method based on projected attention layers (PALs) for controllable multi-attribute knowledge grounded dialog generation. We compared a number of methods for training and blending representations produced by PALs combined with DialoGPT base model. Results of our experiments demonstrate that separate pre-training of PAL branches for different attributes followed by transfer and fine-tuning of dense blending layer gives the highest accuracy of control of a generated response for fewer trainable parameters per an attribute. Furthermore, we applied our approach for controllable multi-attribute generation with grounding knowledge to Blenderbot model. Our solution outperforms the baseline Blenderbot and CRAYON model in control accuracy of dialog acts and sentiment on Daily Dialog as well demonstrates a comparable overall quality of dialog generation given grounding knowledge on Wizard of Wikipedia.
-
ProjectPaperSlides
Данная работа посвящена нейронному декодированию — восстановлению стимула по сигналам головного мозга. А именно, рассматривается задача бинарной классификации сигналов, полученных во время движения руки. Для получения высокого качества классификации предлагается использовать модели глубокого обучения. В задаче декодирования сигналов часто применяются свёрточные нейронные сети и трансформеры, в то время как модели пространства состояний применяются редко. Предлагается восполнить данный пробел и подготовить практическое руководство к выбору модели из данного семейства. Проведено сравнение следующих моделей пространства состояний: RNN, NCDE, S4. Для анализа качества алгоритмов предсказания проводится вычислительный эксперимент на данных ЭКоГ.
-
ProjectThesisSlides
In recent years, large language models (LLMs) have made significant progress in natural language processing. It has been observed that these models may exhibit reasoning abilities when are sufficiently large. One piece of evidence supporting this claim is the ability of LLMs to solve a wide variety of tasks, including making summaries, answering questions, sentiment classification, and more. This ability of LLMs has been further explored in prompt engineering, where an LLM can learn to solve new tasks in a zero- or few-shot format by directly typing a question and receiving the answer in text form. In this work, we introduce text interfaces for event sequence data. Text interfaces are interfaces that enable interaction between a user and a model using textual input and output. Through text interfaces, we were able to extract information from sequence data and use this data to solve different tasks. One benefit of this approach is that it is possible to solve multiple tasks simultaneously. The results produced by the text interface model are compatible with the best classical learning format models, demonstrating its efficiency.
- ProjectPaperSlides
-
ProjectPaperSlides
Данная работа посвящена задаче Propaganda Detection. Задача выявления пропаганды в новостях на английском языке упоминалась впервые в 2017[1], в 2019 [2]. В работе [3] задача Propaganda Detection была поставлена как две независимые подзадачи обработки естественного языка: Span Identification и Text Classification, а также были предложены метрики качества и базовые модели. В бакалаврской работе предлагается расширение задачи обнаружения пропаганды - добавление подзадачи Span Targetting, размеченный русскоязычный корпус новостей и модели для решения задачи Propaganda Detection на русском языке. Задача Span Targetting подразумевает под собой поиск мишени на которую направлен фрагмент манипуляции. Собранный датасет представляют собой набор новостных статей, которые были размечены экспертами в области лингвистики, социологии и политических наук. Разработанные базовые модели для решения задачи Propaganda Detection на русском языке представляют собой большие лингвистические модели на основе архитектуры трансформер дообученные на специализированные задачи обработки естественного языка Span Targetting и Span Identification. Глава
-
ProjectPaperSlides
Во многих задачах оптимизации информация о градиенте целевой функциинедоступна,идоступкзначениямфункцииможнополучитьтолько через оракул по типу черного ящика. Такие условия требуют использования методов нулевого порядка. В данной работе изучается задача негладкой оптимизации на выпуклом компакте со стохастическим шумом с тяжелыми хвостами, т.е. шум с(1 +𝜅)-м ограниченным моментом, и с враждебным шумом в значениях функции. Мы предлагаем два новых алгоритма, оптимальных с точки зрения количества вызовов двухточечного оракула. Их оракульная сложность пропорциональна (︁√ 𝑑/𝜀 )︁ 1+𝜅 𝜅 с высокой вероятностью и по математическому ожиданию, где𝑑 – размерность пространства, а 𝜀 – точность по значению функции. Нашиалгоритмыпостроенынаэффективныхметодахпервогопорядка. Первый алгоритм основан на устойчивом к шуму с тяжелыми хвостами зеркальном спуске. Второй алгоритм основан на методе клиппирования градиента. В работе обсуждаются различия между этими двумя алгоритмами, а также рекомендации по настройке параметров. Кроме того, для целевых функций, удовлетворяющих условию острого минимума, предлагается более быстрый алгоритм с использованием техники рестартов. Особое внимание уделяется вопросу о том, насколько большим может быть враждебный шум, чтобы гарантировать оптимальность алгоритмов.
-
ProjectThesisSlides
Интерфейсы мозг-компьютер (ИМК) - это быстро развивающаяся область исследований, которая помогает восстановливать двигательные способности. Современные данные ИМК содержат измерения с множе ствасигналов.Этисигналыизбыточныисильнокоррелируюткакповре менной, так и по пространственной координатам. Это приводит к неста бильности моделей. Поэтому используются методы уменьшения размер ности. Многие методы уменьшения размерности не могут учитывать корре ляцииповременнойипопространственнойкоординатам.Чтобывыявить эти корреляции, перед уменьшением размерности используется тензори зация. Одним из наиболее распространенных методов тензоризации вре менных рядов является ганкелизация. Ганкелизация помогает выявлять внутренние временные и пространственные корреляции. Однако этот ме тод не был использован в задаче прогнозирования в области ИМК. В этой работе мы нашли оптимальные тензорные представления при знаков и целевой переменной в скрытом пространстве, объединив ганке лизацию и методы уменьшения размерности. Мы протестировали ганке лизацию по времени, пространству и обоим измерениям. Кроме того, мы использовали несколько моделей уменьшения размерности, чтобы прове рить, дает ли ганкелизация улучшение качества для всех моделей. Этими моделямиявляютсямноголинейныйанализглавныхкомпонент(MPCA), метод частичных наименьших квадратов высокого порядка (HOPLS) и гибридный автоэнкодер. Результаты по трем наборам данных ИМК показали, что ганкелиза ция по пространственному измерению в наибольшей степени улучшает качество прогнозирования и упрощает тензор в скрытом пространстве для большинства случаев. Кроме того, в некоторых случаях наилучшим образом работает ганкелизация по обоим измерениям. Эти результаты показывают, что ганкелизация может улучшить качество прогнозирова ния в области ИМК.
-
ProjectThesisSlides
Фокальная кортикальная дисплазия (ФКД) является одним из наиболее распространенных поражений головного мозга, вызывающих эпилепсию. Обычно она диагностируются рентгенологом при МРТ-сканировании головного мозга пациента. Её хирургическое удаление можетпривестикснижениюпотребностивпротивоэпилептическихпрепаратах,снижению частоты или к полному отсутствию приступов. Цель проекта — создать удобную и надежную систему для выявления врачом структурных изменений в коре головного мозга на основании данных МРТ. Представленное исследование посвящено использованию глубоких нейронныхсетейдляэтойзадачи.ПредлагаетсяиспользоватьфреймворкMinkowskiEngine для МРТ данных, представленных в виде облака точек. Полученный метод был применен к набору из 183 МРТ изображений пациентов с ФКД, собранных в сотрудничестве с медицинскимипартнерами.Такжевработепредставленосравнениессовременнымиподходами кобнаружениюФКД.
-
PaperSlides
In this paper we propose three p-th order tensor methods for µstrongly-convex-strongly-concave saddle point problems (SPP). The first method is based on the assumption of p-th order smoothness of the objective and it achieves a convergence rate of O (( LpRp−1 µ ) 2 p+1 log µR2εG ) , where R is an estimate of the initial distance to the solution, and εG is the error in terms of duality gap. Under additional assumptions of first and second orde r smoothness of the objective we connect the first method with a locally supe rlinear converging algorithm and develop a second method with the comp lexity of O (( LpRp−1 µ ) 2 p+1 log L2R max{1, L1µ } µ + log log L31 2µ2 εG log L1L2µ2 ) . The third method is a modified version of the second method, and it solves gradient norm m inimization SPP with ˜O (( LpRp ε∇ ) 2 p+1 ) oracle calls, where ε∇ is an error in terms of norm of the gradient of the objective. Since we treat SPP as a pa rticular case of variational inequalities, we also propose three methods for strongly The work of P. Ostroukhov was fulfilled in Sirius (Sochi) in Au gust 2020 and was supported by Andrei M. Raigorodskii Scholarship in Optimization. The research of P. Dvurechensky was partially supported by the Ministry of Science and Highe r Education of the Russian Federation (Goszadaniye) 075-00337-20-03, project no. 07 14-2020-0005. The research of A. Gasnikov was funded by Math+ AA4-2 Scholarship in Optimizat ion.
- PaperCode
- Old paperPaper 1
-
ProjectThesisSlides
В данной работе мы осуществляем исследование задачи прогнозирования одной временной траектории на основе другой. В рамках этого исследования, мы предлагаем подход, основанный на снижении размерности исходного и целевого пространства траекторий, что позволяет упростить процесс анализа и создания модели согласования для перехода между этими пространствами. Мы проводим обзор и анализ различных методов аппроксимации в контексте многомодельного моделирования, нацеленных на эффективное построение модели согласования. В качестве элемента предложенного решения, мы применяем подход к отбору признаков на основе квадратичного программирования и метод частичных наименьших квадратов для установления связей между траекториями. В рамках экспериментальной части исследования, проводится проверка устойчивости предложенных подходов на данных, полученных от носимых устройств. Результаты подтверждают устойчивость и эффективность предложенного метода в задаче прогнозирования траекторий, что указывает на его применимость и перспективность для работы со сложными временными рядами и их взаимосвязями.
-
ProjectThesisSlides
Решается задача классификации, рассматривается метод бустинга глубоких нейросетевых моделей. Классические методы бустинга неприменимы для глубоких нейросетей из-за того, что каждая модель достигает нулевой ошибки на обучающей выборке, следовательно невозможно обучить следующую модель компенсировать ошибки предыдущих моделей, чего требует большинство алгоритмов бустинга. В работе вводится дисконтированная функция потерь, которая решает две задачи: повышение генерализации каждой модели и добавление гибкости в обучении ансамбля, то есть создание возможности учитывать ошибки моделей. Последнее требование выполняется за счет оценки уверенности модели в предсказании, данная оценка называется марджин. Дисконтированная функция потерь позволяет обучать модель с предсказуемым значением марджина. Проводится вычислительный эксперимент, на датасетах CIF AR10 и CIF AR100, где предлагаемый метод бустинга превосходит базовое решение, классический глубокий ансамбль через усреднение предсказаний, до 3.2%.
- ProjectThesisSlides
-
ProjectThesisSlides
Работа посвящена задаче регуляризации параметров нейронной сети для уменьшения избыточности и повышения устойчивости модели. Предлагается модель нейросетевого слоя, основанная на представлении системы весов слоя в виде фрейма в пространстве параметров, что делает разложение входного сигнала по весам данного слоя устойчивым и полным. На основе предложенной модели вводится фреймовая регуляризация параметров слоя в виде штрафа за несоблюдение достаточного условия фрейма. В отличие от существующих методов, основанных на ортогонализации, предложенная ортогонализация накладывает слабые ограничения на параметры модели, которые достаточны для восстановления входа слоя по его выходу. Предложенный метод регуляризации эффективно обобщается на сверточные слои в блочно-теплицевом представлении. Вычислительный эксперимент, проведенный на выборках CIFAR-10, CIFAR-100 и SVHN, показал эффективность предложенного метода регуляриации с точки зрения качества обученных моделей из класса сверточных нейронных сетей. Модели, обученные с фреймовой регуляризацией параметров, обладают большей точностью классификации, обобщающей способностью и устойчивостью к состязательным атакам по сравнению с базовыми подходами. **Ключевые слова:** регуляризация параметров, нейронная сеть, фрейм, ортогонализация весов.
- ProjectThesisSlides
-
ProjectThesisSlides
Работа посвящена выбору моделей глубокого обучения. Рассматриваются методы снижения пространства параметров моделей на основе дистилляции. Предлагается обобщение классической дистилляции используя выравнивания вероятностных пространств параметров модели учителя и ученика. Для снижения размерности пространства параметров используется информация об их априорном и апостериорном распределениях. Разобраны частные случае, когда учитель и ученика являются полносвязными и рекурентными нейросетевыми моделями.
- ProjectThesisSlides
-
ProjectThesisSlides
Данная бакалаврская диссертация основана на статье «Importance Sampling Approach to Chance-Constrained DC Optimal Power Flow» [ 17] за авторством Вячеслава Горчакова, Александра Лукашевича и Юрия Максимова. Моя бакалаврская работа посвящена анализу сэмплирования по важности в применении к решению задач оптимизации с вероятностыми ограничениями. Областью применения данного исследования являются уравнения энергосистем и, в частности, задача оптимального потока мощности переменного тока. Несмотря на значительные экономические и экологические эффекты, более высокий уровень производства возобновляемой энергии приводит к повышенной неопределенности и изменчивости при подаче мощности, тем самым ставя под угрозу надежность сети. Для улучшения бузопасности энергосистемы, мы исследуем "chance-constrained"(CC) аппроксимацию постоянного тока (DC) в контексте задачи оптимальной мощности (OPF) переменного тока (AC). Задача состоит в том, чтобы найти экономически оптимальное производство электроэнергии, гарантируя, что значения мощности генераций, линейных потоков и напряжений остаются в пределах своих допустимых границ одновременно с заранее заданной вероятностью. К сожалению, задача CC-DC-OPF является вычислительно сложной, даже если распределение возобновляемых источников энергии известно и зафиксированно для всей энергитической системы. Более того, существующие аппроксимирующие решения к проблеме нахождения общей мощности (OPF) в постановке "chance-constrained"оптимизационной задачи являются чрезмерно консервативными и требовательны к вычислительным ресурсам и, следовательно, имеют меньшую ценность для применения на практике. Эта работа посвящена применению подхода сэмплирования по важности для построения эффективной и надежной аппроксимации по сценариям для CC-DC-OPF. Получена теоретическая оценка на минимальное количество необходимых сэмплов, что дает лучшую оценку сложности сэмплов и их точность, чем современные "state-of-the-art"методы. Наши теоретические оценки также подтверждаются проведенные экспериментами на тестовых наборах данных. Алгоритм эффективно снижает количество необходимых сценариев за счет создания и использования только нескольких наиболее важных, что позволяет получать решениев режиме реального времени для тестовых энергосетей размеров до нескольких сотен точек генераций. 2 Abstract This Bachelor thesis is focused on importance sampling analysis in the context of chance-constrained optimization problems. The application area of this study is power systems equations and the
- PaperCodeSlides
- Paper
-
ProjectThesisSlides
Данная работа посвящена аппроксимации фазовых траекторий временных рядов. Изучается метод аппроксимации, использующий проекции точек фазовой траектории в низкоразмерное пространство, достаточное для восстановления исходной траектории. Предлагается метод построения проецирующего отображения по произвольной модели временного ряда. Изучаются свойства построенного отображения в зависимости от структуры модели временного ряда. Фазовая траектория рассматривается как многообразие, а построенные отображения выступают в роли атласа. Предлагается способ нахождения оптимальной размерности фазовой траектории временного ряда. Для анализа качества аппроксимации проводятся эксперименты на синтетических данных и данных, полученных про помощи акселерометра мобильного устройства.
-
ProjectThesisSlides
Inductive transfer learning aims at adapting a pre-trained neural network to target data without access to a source database. Most modern methods suffer from strong regularization between corresponding parameters. An efficient inductive transfer learning method should take enough information from a pre-trained model, but also learn vital patterns from new data. We present the novel technique of transfer learning that is based on optimal transport theory. However, this method requires deep neural networks(DNN) that are strongly 1— Lipschitz continuity functions in according to the theory. To solve this issue, we develop such networks and prove necessary theoretical guarantees for them. We show, that the regularization of the proposed method computes ground-truth the Wasserstein-1 distance between distributions of parameters, while another penalization strategies compute an upper bound. We demonstrate the abilities of the proposed method and compare it with relevant transfer learning techniques.
- PaperCodeSlides
- ProjectThesisSlides
-
ProjectThesisSlides
Работа посвящена задаче регуляризации параметров нейронной сети для уменьшения избыточности и повышения устойчивости модели. Предлагается модель нейросетевого слоя, основанная на представлении системы весов слоя в виде фрейма в пространстве параметров, что делает разложение входного сигнала по весам данного слоя устойчивым и полным. На основе предложенной модели вводится фреймовая регуляризация параметров слоя в виде штрафа за несоблюдение достаточного условия фрейма. В отличие от существующих методов, основанных на ортогонализации, предложенная ортогонализация накладывает слабые ограничения на параметры модели, которые достаточны для восстановления входа слоя по его выходу. Предложенный метод регуляризации эффективно обобщается на сверточные слои в блочно-теплицевом представлении. Вычислительный эксперимент, проведенный на выборках CIFAR-10, CIFAR-100 и SVHN, показал эффективность предложенного метода регуляриации с точки зрения качества обученных моделей из класса сверточных нейронных сетей. Модели, обученные с фреймовой регуляризацией параметров, обладают большей точностью классификации, обобщающей способностью и устойчивостью к состязательным атакам по сравнению с базовыми подходами. **Ключевые слова:** регуляризация параметров, нейронная сеть, фрейм, ортогонализация весов.
- Code
-
ProjectThesisSlides
Рассмотрена задача декодирования сигналов, представленн ых в виде синхронизированных временных рядов. В регрессионной задаче в осстановления значений целевого ряда по значениям исходного требуется сн изить размерность описания исходного сигнала. Предлагается способ сни жения размерности с помощью построения пространственно-временного предста вления предыстории сигнала в конформной геометрической алгебре. Такое пос троение опирается на свойство билинейности геометрического произведения алгебры. Искомое низкоразмерное представление в данном подходе получается из коэффициентов мультивектора алгебры, характеризующего последовате льность значений временного ряда. Предложенный метод применяется в решении задачи декодирования сигналов электрокортикограмм для восстановления траектории конечности.
-
ProjectThesisSlides
В работе решается задача выбора оптимальной модели предсказания динамики физической системы. Под динамикой системы понимается изменение во времени параметров системы. Нейронные сети не имеют априорных знаний о моделируемой системе, что не позволяет получить оптимальные параметры, учитывающие физические законы. Лагранжева нейронная сеть учитывает закон сохранения энергии при моделировании динамики. В данной работе предлагается Нётеровская агранжева нейронная сеть, учитывающая законы сохранения импульса и момента импульса в дополнение к закону сохранения энергии. Показано, что для данной задачи Нётеровская Лагранжева нейронная сеть является оптимальной среди полносвязной модели нейронной сети, нейронной сети с долговременной кратковременной памятью и Лагранжевой нейронной сетью. Сравнение моделирования проводилось на искусственно сгенерированных данных для системы двойного маятника, которая является простейшей хаотической системой. Результаты экспериментов подтверждают гипотезу, что внесение априорного знания о физике системы повышает качество модели. – 4 –
-
ProjectThesisSlides
Wasserstein gradient flows provide a powerful means of understanding and solving many diffusion equations. Specifically, Fokker-Planck equations, which model the diffusion of probability measures, can be understood as gradient descent over entropy functionals in Wasserstein space. This equivalence, introduced by Jordan, Kinderlehrer and Otto, inspired the so-called JKO scheme to approximate these diffusion processes via an implicit discretization of the gradient flow in Wasserstein space. Solving the optimization problem associated to each JKO step, however, presents serious computational challenges. We introduce a scalable method to approximate Wasserstein gradient flows, targeted to machine learning applications. Our approach relies on input-convex neural networks (ICNNs) to discretize the JKO steps, which can be optimized by stochastic gradient descent. Unlike previous work, our method does not require domain discretization or particle simulation. As a result, we can sample from the measure at each time step of the diffusion and compute its probability density. We demonstrate our algorithm’s performance by computing diffusions following the Fokker-Planck equation and apply it to unnormalized density sampling as well as nonlinear filtering. The work is based on our article [ 57].
-
ProjectThesisSlides
Один из способов оценки качества в задачах генерации текста — использование предобученной (например, на задачу классификации) глубокой нейросетевой модели. Например, модель, решающая задачу определениятоксичноститекста,можетиспользоватьсядляоценкикачества задачи детоксификации текста. Логично предположить, что оценивающую модель следует использовать для задания функции потерь, чтобы улучшить качество решения. Нейросетевые модели для обработки текста работают с ограниченным словарём входных токенов, и у разных моделей словарь может отличаться. В силу отсутствия инъективного отображения между токенами моделей, наивный способ использования оценивающей модели поверх результатов основной невозможен. Данная работа предлагает способ решения отсутствия дифференцируемости такой функции потерь на примере задачи детоксификации текстов. Предлагается обучить новый входной эмбеддинг-слой оценочной модели, называемый адаптером, который будет принимать распределения вероятностей токенов, выданных моделью детоксификатором. В работе предложен способ обучения адаптера с использованием в качестве функции потерь дивергенции Кульбака-Лейблера между истинной вероятностью токсичности и вероятностью, полученной при использовании адаптера. Также предложен способ одновременного обучения детоксификатора и адаптера, приводящие к улучшению качества модели. Проведенные эксперименты показывают эффективность предложенного метода
- Paper
-
ProjectThesisSlides
Решается задача выбора модели прогнозирования квазипери одических временных рядов. Классические методы оценки эффек тивности прогнозирования не учитывают предысторию и априорное знание о периодичности временных рядов. Для учета этой информа ции применяется модель фазовой траектории исследуемого времен ного ряда. Для перехода в фазовое пространство временной ряд век торизуется с помощью метода задержек. Для понижения сложности модели в фазовом пространстве выбирается подпространство. Про екция фазовой траектории на сферу в полученном подпространстве аппроксимируется линейной комбинацией сферических гармоник. Полученная модель оценивает вероятность принадлежности точек фазовой траектории исследуемому временному ряду. Дополнитель но свойства модели фазовой траектории были исследованы в задаче классификации. По полученным оценкам вероятности предлагается метод выбора наилучшей модели прогнозирования. Вычислитель ный эксперимент проведен на измерениях акселерометра мобильно го устройства с тремя классами движений человека.
Works per advisor and topic
| Signals & dynamical systems | Deep learning theory & architectures | Optimization | Generative & probabilistic modeling | Language & information systems | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Advisor | Time series & dynamical systems | Brain signal decoding & BCI | Architecture search, compression & distillation | Loss landscape, Jacobians & expressivity | Stochastic & distributed optimization | Generative models & optimal transport | Bayesian & small-sample statistics | Medical imaging | Text understanding, topic models & LLMs | Generated-text & manipulation detection | Recommenders, event sequences & feedback loops | Other |
| Vadim Strijov 33 | 19 | 7 | 2 | 1 | 2 | 4 | 1 | 1 | ||||
| Andrey Grabovoy 28 | 5 | 2 | 9 | 1 | 4 | 4 | 1 | 1 | 5 | |||
| Konstantin Vorontsov 14 | 1 | 7 | 4 | 2 | ||||||||
| Oleg Bakhteev 14 | 1 | 13 | 1 | 1 | ||||||||
| Alexander Gasnikov 10 | 9 | 1 | 1 | |||||||||
| Roman Isachenko 7 | 3 | 2 | 2 | |||||||||
| Beznosikov A.N. 5 | 5 | |||||||||||
| Alexander Korotin 4 | 1 | 4 | ||||||||||
| Alexey Zaytsev 4 | 1 | 2 | 2 | |||||||||
| Ivan Oseledets 3 | 1 | 1 | 1 | 1 | ||||||||
| Anton Khritankov 3 | 3 | |||||||||||