Принцип «разделяй и властвуй» работает не только в жизни, но и при обработке большого количества данных. Так, в информационном поиске используется технология MapReduce — модель распределенных вычислений на основе компьютерных кластеров. Вычисления на узлах происходят независимо друг от друга, поэтому зачастую образуются «узкие места» — так называется явление, когда задача на отдельном узле выполняется медленно или с опозданием.

В московском офисе Яндекса прошел научно-технический семинар с участием Эдуарда Бортникова, главного инженера исследовательского центра Yahoo! Research. Эдуард рассказал, как предсказать замедления в инфраструктуре MapReduce с помощью машинного обучения и как с помощью предсказаний ускорить выполнение задач.