Продолжается серия встреч, посвящённых технологиям Яндекса. В августе мы делились секретами поиска, а теперь пришёл черёд подробного рассказа об инфраструктуре хранения и обработки данных.

Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует Яндекс, измеряется эксабайтами, а требования к системам хранения — очень жёсткие.

Руководители команд и ведущие разработчики направления инфраструктуры рассказали, как удаётся добиться согласованной работы огромных дата-центров, что такое Media Storage, YT и Yandex Query Language, и сколько же в Яндексе MapReduce-систем. Также слушатели узнали, как устроена СУБД ClickHouse, на основе которой работает Яндекс.Метрика.

Материалы по теме встречи:

• YT: зачем Яндексу своя MapReduce-система и как она устроена
• Как писать меньше кода для MR, или Зачем миру ещё один язык запросов? История Yandex Query Language
• Как применение кодов избыточности в SDS помогает Яндексу дёшево и надёжно хранить данные
• Яндекс открывает ClickHouse