Технологии

Elliptics
Распределённое key-value хранилище данных с открытым исходным кодом.

Организация хранения данных

Хранить миллиарды объектов, просто положив их в базу данных, не получится. Для этого необходимо применять другой класс решений, которые обычно называют Big Data Storage.

Необходимо учитывать не только общий объём, но и количество объектов, пропускную способность сети, скорость чтения и скорость доступа к данным на дисках. Отдельно необходимо заботиться о репликации и о доступности данных при сбоях. Для каждого конкретного случая обычно необходимо рассматривать все существующие варианты и искать компромисс между производительностью, удобством работы и доступностью при потере отдельных узлов или целых реплик.

В докладе рассматриваются все эти аспекты на примере гипотетического переезда Instagram из Amazon S3 в собственное хранилище.

Скачать видео 1,94 ГБ