Предсказание «узких мест» при выполнении команд в кластерах MapReduce

Одни из основных «узких мест» в системах MapReduce — это задачи, которые выполняются медленно или с опозданием. Создатели инфраструктуры Hadoop стараются обойти их, минимизировав удаленный доступ к данным, или решить эту проблему с помощью упреждающего исполнения команд. Однако существующие механизмы не гарантируют того, что программа сможет обходить «узкие места» при планировании задач, и не дают простого способа своевременно определять замедленные задачи.

Эдуард предлагает решать проблему «узких мест», используя метод машинного обучения. Этот подход позволяет предсказывать, насколько медленнее остальных будет выполняться задача на конкретном узле. Предсказатель замедления производительности можно встроить в инфраструктуру MapReduce, чтобы ускорить выполнение запланированных задач. В докладе Эдуард Бортников дал предварительную оценку целесообразности предложенного подхода и привел примеры его использования.