16 февраля в 16:40 магистратура «Прикладное машинное обучение и большие данные» и Школа анализа данных Яндекса проведут открытую лекцию «Путешествие в мир LLM Pretrain или как обучить модель весом в терабайт» Валентина Мамедова, руководителя команды претрейнов GigaChat.
На лекции разберём, как на практике обучают модели размером в сотни миллиардов параметров на примере GigaChat Ultra.
Поговорим о распределённом обучении больших LLM: чем большие модели отличаются от маленьких, зачем нужны MoE-модели и какие оптимизации помогают ускорять и стабилизировать pretrain.
Для кого:
Лекция рассчитана на студентов различных курсов, выпускников и всех, кто интересуется темой ML и программирования.
Место проведения:
Мероприятие пройдёт в НГУ, в аудитории 211КПА, вход открыт для всех желающих, количество мест ограничено.
Обязательно зарегистрируйтесь в форме.
