Ускоренные методы оптимизации и их роль в современном обучении больших моделей
В докладе речь пойдёт о недавних достижениях, связанных с получением ускоренных батчированных методов для задач с переобучением, ускоренных тензорных методов, ускоренных методов в условиях схожести слагаемых, ускоренных методов для седловых задач, ускоренных методов для задач распределённой оптимизации с несмещённой компрессией.