Смысловое соответствие текстов в ранжировании

Одна из главных задач поисковой системы состоит в том, чтобы понять, насколько тот или иной документ релевантен запросу пользователя. Часто бывает так, что текст не содержит части или даже всех слов запроса, но при этом хорошо соответствует запросу по смыслу. Как научить машину «видеть» смысловое соответствие двух текстов и как сделать наш поиск более семантическим?

На эти два вопроса отвечает ряд методов, применяемых для решения задачи определения смысловой близости — в англоязычной литературе они иногда описываются собирательным термином semantic matching.

Я расскажу о таких методах и их применении в web-ранжировании Яндекса.