Разберём один из важнейших способов оптимизации LLM: узнаем, почему видов квантизаций так много и зачем писать специальные матричные перемножения на GPU.

Расскажу, как мы избавились от болей с ручным шардированием и дубликатами, построив быструю и масштабируемую платформу на YTsaurus. Поделюсь нашим процессом миграции, цифрами до/после и граблями, на которые мы наступили при работе со словарями. В итоге — готовый опыт для тех, кто ищет замену ClickHouse для больших данных.