Целью массовой записи будет загрузка ~ 1 ТБ данных k / v еженедельно, которые затем будут служить хранилищем только для чтения для оптимизированных случайных чтений.
Сценарий : ~ 100 файлов по 6-7 ГБ к / в, несортированные данные.
В настоящее время усиление записи делает эту задачу практически невозможной на машине с ~ 30 ГБ БАРАН. Это несортированный read-> write.
Нам нужно достичь времени около ~ 2h ingest (в настоящее время достижимо в других решениях, таких как Badger ).
Я могу только думать о первой сортировке данных в памяти, но накладные расходы здесь неидеальны и я не уверен, будет ли производительность улучшена до ~ 2h. По общему признанию это не проверено, и мне трудно вычислить, что может быть достигнуто даже в этом сценарии.