Как измерить счастье пользователя

Мы постоянно стремимся улучшить сервисы Яндекса, чтобы ими было удобно пользоваться. Двигаться в правильном направлении нам помогают метрики качества. Я расскажу об одном из стандартных подходов к оценке новых функциональностей — A/B-экспериментах, в которых две группы людей видят разные версии Яндекса.

Если кратко, то наша задача — как можно точнее измерить так называемое счастье пользователя. Чем чувствительнее метрики, тем быстрее и на меньшей выборке можно понять, улучшаем ли мы жизнь пользователей, — и, соответственно, быстрее двигаться вперед. Существуют разные математические трюки для повышения чувствительности метрик — некоторые из них я рассмотрю в докладе.