Обход свежего контента

В наши дни интернет становится основным источником свежей и актуальной информации. Именно поэтому быстрый обход (скачивание) и индексация новых веб-страниц — важная задача поисковой системы. Оказывается, пользовательский интерес ко многим недавно созданным страницам (новости, блоги, форумы) растет очень быстро после их появления, но длится всего несколько дней. Я расскажу про проблему быстрого обнаружения и обхода таких эфемерных (в терминах пользовательского интереса) новых страниц.