Базовые оптимизации

Поисковая инфраструктура Яндекса требует значительных затрат на поддержку и постоянно растет. Растет и объем проиндексированной информации, и сложность алгоритмов ранжирования, и сложность запроса. Расхожий тезис «вычислительные мощности дешевле усилий программиста по оптимизации» становится неверным. Поисковый запрос пользователя в Яндекс проходит несколько стадий обработки, «базовый поиск» — это самая низкоуровневая и требовательная к оптимизациям подсистема, потребляющая до 95% серверных мощностей. Сам базовый поиск включает в себя нахождение документов-кандидатов, вычисление для них факторов ранжирования и финальный подсчет релевантности. Мы расскажем про подходы Яндекса к сжатию поискового индекса и про ускорение алгоритма ранжирования MatrixNet.