Например, если вы хотите накапливать наблюдения и ваш режим чтения читает «все» или «много» сразу, вам действительно не нужна база данных classi c, вам нужны организованные файлы.
Для этого вы в конечном итоге пишете множество проверок уникальности и входного временного кода для добавления новых наблюдений. Это кажется глупым, потому что базы данных хороши в этом. С другой стороны, запуск базы данных только для управляемой дедупликации и индексации, чтобы затем выгружать все это на паркет при событиях обновления, тоже кажется глупым.
В финансовых HFT-доменах вы видите базы данных с отображением в память, которые всегда записывают на диск. Ищу что-то вроде построенного на распространенных форматах типа Parquet.
Это существует? Долго искал и ничего не нашел.