Работа посвящена некоторым адаптивным методам для вариационных неравенств с относительно гладкими и относительно сильно монотонными операторами. Отталкиваясь от недавно предложенного проксимального варианта экстраградиентного метода для такого класса задач, мы детально исследуем метод с адаптивно подбираемыми значениями параметров. Доказана оценка скорости сходимости этого метода.

В работе исследованы два варианта острого минимума для задач математического программирования с квазивыпуклой целевой функцией и ограничениями-неравенствами. Разработан субградиентный метод с переключениями по продуктивным и непродуктивным шагам. Описаны условия сохранения сходимости метода при погрешности информации о минимуме функции. Рассмотрены два аналога острого минимума для задач с ограничениями-неравенствами и доказаны оценки сходимости.

В данной работе рассматривается задача децентрализованной оптимизации с определенной структурой на меняющихся графах. Были получены верхние и нижние оценки на коммуникационную и вычислительную сложности. Исходя из них, было заключено, что в силу их равенства предложенный нами алгоритм является оптимальным.

Относительно недавно были представлены алгоритмы распределенного обучения, в которых пересылаемая информация между устройствами сходится к нулю по модулю с номером итерации. Из-за этих особенностей возникает идея использования динамически меняющегося типа данных для передачи информации между устройствами. В данной работе, опираясь на алгоритмы EF21 и MARINA была изучена их сходимость при использовании динамически меняющихся типов данных с учетом ошибок, возникающих из-за округления.  

Что будет если совместить парадигму декларативного программирования с некоторыми составляющими императивного (структурное программирования, строгие представления, логические системы, адт)? На этот вопрос был найден ответ.

В ходе работы была сделана модель вычислительного интеллекта и декларативного языка программирования для него. Основная цель – научить вычислительный интеллект решать любые математические и алгоритмические задачи.

В работе исследуется конкуренция поставщиков за закупку материально-технического оборудования образовательного учреждения в условиях кредитных обязательств. Задача рассматривается как модельное взаимодействие двух рациональных игроков, учитывающих при принятии решений риски длительных переговоров и неуспех сделки. Аналитически оценено влияние ликвидности рынка и ставки кредитования на величину добавленной стоимости от цены производства

В данной работе вводится и рассматривается семейство относительно регулярных алгебр. Для фиксированного языка, называемого фильтром, строятся все возможные пересечения с регулярными языками, полученные языки являются элементами данной алгебры. Изучается какие алгебры могут быть представлены как относительно регулярные. Доказывается теорема, о том что для любой атомной алгебры может быть найден такой фильтр, что соответствующая относительно регулярная алгебра будет ей изоморфна.

В данной работе представлен новый метод решения задач линейного программирования, который совмещает в себе точность симплекс-алгоритма и эффективность метода внутренней точки Нестерова-Тодда. Алгоритм основан на постепенном отсечении координат путём решения вспомогательной задачи, которая решается аналитически. На практике отсечение достигает 85% переменных, что эффективно понижает размерность задачи.

Децентрализованная оптимизация хорошо изучена для гладких задач без ограничений. Однако задачи с ограничениями являются открытым направлением для исследований. Мы изучаем структурированные (или составные) задачи оптимизации, где функционал представляет собой сумму математических ожиданий выпуклых гладких случайных функций (для которых доступен стохастический градиент). Наш метод основан на ускоренном проксимальном градиентном спуске и выполняет несколько консенсусных итераций между вычислениями

В данной работе представлен новый ускоренный алгоритм с компрессией для федеративного обучения в случае вертикального разделения данных. Мы одни из первых получили теоретические гарантии сходимости в таком сеттинге. Были проделаны эксперименты, в которых показана лучшая сходимость по сравнению с конкурентами.

Работа посвящена алгоритмам первого порядка для вариационных неравенств с неточной информацией об операторе. В отличие от большей части литературы по данной тематике, рассмотрена установка относительной, а не абсолютной неточности.  В работе рассмотрены два метода (проекционный и экстра-градиентный) для решения вариационных неравенств с липшицевыми, сильно монотонными операторами и относительно неточной информацией об операторах. Доказаны теоретические оценки качества получаемого решения.

В современных задачах машинного обучения наблюдается тенденция к увеличению размера моделей, что приводит к росту популярности методов распределенного обучения. Мы рассматриваем классический метод распределенного обучения - FedAvg, для которого доказаны оптимистичные оценки сходимости в случае, когда целевая функция является квадратичной. В данной работе эта идея получает развитие - что происходит, если целевая функция разлагается в сумму квадратичной и произвольного остатка?

В данной работе была исследована такая модель вычислений, как автомат со словарём. Было сделано её обобщение ($$\backslash pm$$-автомат) и исследовано расположение класса языков, распознаваемых такими автоматами, относительно контекстно-свободных языков.

В данной статье рассматриваются распределенные оптимизационные задачи, включающие сжатые коммуникации. Мы предлагаем семейство схем сжатия, в которых компрессоры преобразуют векторы, подаваемые на их вход, в соответствии с некоторой цепью Маркова, то есть стохастичность компрессоров зависит от предыдущих итераций, что интуитивно должно ускорить сходимость методов, поскольку учет предыстории кажется более естественным и надежным. 

В данной работе исследован метод нулевого порядка, основывающийся на одноточечной градиентной аппроксимации, в условиях враждебного шума с тяжелыми хвостами. Был предложен алгоритм ускоренного градиентного клиппинга и получена оценка на его итерационную сложность. При обобщении на случай с ограниченной дисперсий были получены оптимальные оценки, из чего сделан вывод оптимальности по итерационной сложности и максимальному уровню шума. 

Метод Франка-Вульфа широко используется для решения задач оптимизации. В работе анализируются стохастические координатные алгоритмы на основе предложенного метода.  Исследуется характер сходимости и предлагаются оценки сходимости методов в выпуклом и невыпуклом случаях. Приводятся результаты экспериментов по сравнению эффективности предложенных методов с классическим алгоритмом

В данной работе рассматриваются последние результаты в области сходимости методов условного градиента для задач распределенной оптимизации на ограниченных множествах

В работе исследуется постановка задачи минимизации с условиями Липшица градиента и Поляка–Лоясиевича в предположении доступности во всякой текущей точке градиента целевой функции с относительной погрешностью. Предлагаются адаптивные, как по параметру гладкости, так и по величине погрешности, методы градиентного типа, имеющие линейную скорость сходимости. Более того, показывается, что подход можно расширить и на седловые задачи с двусторонним условием Поляка–Лоясиевича.

В работе проводится империческое исследование и сравнение кубически регуляризованных методов квази-ньютона в задачах невыпуклой оптимизации. Проведен сравнительный анализ на различных прикладных задачах в том числе для обучения нейронных сетей. 

В докладе рассмотрен подход к обучению глубоких нейронных сетей - объектно-ориентированное моделирование с настраиваемыми функциями активации для произвольных групп синапсов с возможностью динамической заморозки и разморозки части синаптических весов в процессе обучения.

В работе предлагается модификация процедуры обучения нормализующих потоков, позволяющая полуаналитически оценивать взаимную информацию двух случайных векторов. Приводится теоретическое обоснование предложенного метода. Тесты с многомерными синтетическими наборами данных показали хорошую точность разработанного оценщика взаимной информации.

Работа состоит из построения дифференциально приватного алгоритма для распределенного (федеративного) обучения с использованием  техники компенсации ошибки (Error Feedback). Проведен теоретический анализ накладываемого шума в зависимости от числа итераций, а также скорости сходимости распределенного метода оптимизации, заключающегося в пересылке на сервер все меньшего количества информации в процессе обучения, тем самым уменьшая дисперсию при заданном бюджете приватности.

Проект предназначен для оптимизации определения оптимального решения многокритериальных задач, расчет которых происходит на отдельных вычислительных кластерах.

Реализуемая система состоит из 3х основных блоков: web-интерфейс для взаимодействия с пользователем, сервер для обработки клиентских запросов и основной расчетный блок, который отвечает за переупорядочивание гиперпараметров и их отправку на вычислительный кластер.

Хорошо известно, что в некоторых задачах машинного обучения, например из области NLP принято обрезать (клиппировать) градиент в процессе обучения. Мы решили сранить обучение с клиппингом и без более тщательно и наглядно продемонстрировать результаты. Работа повящена проверке гипотезы о том, что в задачах с "тяжёлыми хвостами" клиппирование градиента помогает улушить сходимость адаптивных методов. Далее будет продемострированна экспериментальная часть (в будущем планируется доработать теорию)

В данной работе исследуются градиентные подходы к обратным и некорректным задачам, которые могут интерпретироваться как задачи оптимального управления. В работе исследуются обратные задачи  для уравнения гиперболической теплопроводности и  параболического уравнения с точечными источниками. Цель данной работы показать другим гибкость и широту применения градиентных методов в задачах, в которых, казалось бы, у них нет очевидного применения, однако оно является достаточно эффективным.

В данной работе рассмотрена задача минимизации гладкой сильно выпуклой функции в распределенной горизонтальной и вертикальной постановках. Приведены основные алгоритмы по поиску оптимального решения таких задач, получены теоретические оценки сходимости таких алгоритмов, а также рассмотрены частные случаи различных операторов компрессии в комбинации с приведенными алгоритмами.