В мультиагентных системах мы экипируем LLM мощными инструментами для ответа на вопрос, даём моделям возможность вызывать различные функции и общаться между собой. Но не всё так просто: на практике данных не хватает, запрос пользователя не всегда очевиден, а похожих кейсов мало. Я разберу сложности, с которыми мы столкнулись, и конкретные решения, которые позволили их преодолеть.

Как оценить качество ассистентов там, где автоматические оценки не дают прозрачного результата, LLM as a Judge не работает, а аутсорс разметка по инструкциям не отображает реальности. Как мы, оценив реальность, перестроили продукт без потери пользовательского опыта.

RAG заметно изменился: вместо простой связки поиска и генерации теперь это полноценная система с разными уровнями обработки, оценкой качества и настройкой моделей под задачу. В докладе на наших продуктовых кейсах разберём, как такие системы устроены сегодня, какие подходы работают на практике и когда стоит дообучать модель.

Как, имея только историю действий на Маркете и немного метаинформации, узнать про интересы каждого покупателя? В докладе расскажу про вариант такого подхода от коллег из китайского крупнейшего маркетплейса и про то, как нам удалось его адаптировать под наши данные и наших пользователей с приростом метрик.

Обучение языковых моделей навыку взаимодействия с инструментами упирается в дефицит данных: открытые датасеты ограничены по тематикам, содержат мало многошаговых и сложных сценариев использования инструментов и практически отсутствуют на русском языке. В докладе мы расскажем, как мы построили полностью синтетический пайплайн генерации function calling данных, разберём шаги обучения и покажем, как этот подход позволил добиться прироста качества на специализированных бенчмарках.

В докладе расскажу, как выглядел наш долгий путь к сведению LLM и VLM из части семейства Alice AI в единую омни-модель, которая умеет работать с текстом и изображениями в одном контуре. Поделюсь ключевыми этапами и компромиссами этого пути и планами по развитию этой омни-модели в ближайшем будущем.