Yandex Generative Summit

Работа с нейросетями перешла из области ресёрча в инженерию. Большие языковые модели сейчас — это мастхев для крупных IT-компаний, который приносит огромный профит, но вместе с тем и большие затраты на эксперименты и обучение новых моделей. Обсудим, как нам удаётся работать и экспериментировать с LLM, не упираясь каждый раз в ограниченные возможности суперкомпьютеров.

Рассказ о том, как делать GPT-модели, как про pretrain, так и про alignment. Подсвечу, возможно, неочевидные сложности, проблемы и как мы подходим к их решению.

Как мы внедрили Генеративный ответ в продакшен Поиска Яндекса. Расскажу про дизайн системы, обучение cамой LLM, и как мы работаем под огромным поисковым RPS.

Рассмотрим, что вообще такое мультимодальность, почему мультимодальные модели стали так популярны в последнее время, и что мы в Яндексе делаем в этом направлении.

Рассказ о том, как использовать языковые модели в задаче перевода. Будет дан небольшой экскурс в историю машинного перевода и современные проблемы в этой области. Также расскажу о том, как изменение подхода к задаче может позволить приблизиться к человеческому качеству.

Расскажу про то, как мы обучали Нейро, какой создали пайплайн для нового продукта и что сильнее всего влияет на качество больших языковых моделей