Движок базы данных для интенсивной записи - PullRequest
Новая
       53

Движок базы данных для интенсивной записи

0 голосов
/ 03 марта 2019

Я хочу записывать сотни ГБ на сервер базы данных каждый день (только в свободное время, например, ночью).Также я хочу, чтобы данные были доступны только после написания.Например, если вы используете систему RDBMS, вы будете писать во временную таблицу, а затем переключаться между новой и старой таблицей.

Именно поэтому я хочу иметь поддержку базы данных для интенсивной записи.Есть несколько вариантов, которые я исследовал.

  • RocksDB: подходит для записи, но поскольку это встроенная база данных, поэтому нет хорошего инструмента для мониторинга.
  • Кассандра: Я думаю, что этослишком излишне.

Есть еще несколько баз данных, которые я исследовал: CockroachDB и HBase.Итак, какая база данных подходит для моей высокой интенсивности записи с легкостью в управлении.

Спасибо

Ответы [ 2 ]

0 голосов
/ 05 марта 2019

Вы можете попробовать scylla и cassandra как для высоких записей.Cassandra обеспечивает хорошую гибкость и масштабируемость с множеством функций.Вы можете обратиться к apache.org или datastax cassandra для более подробной информации.Scylla также является хорошим вариантом, если вы хотите добиться хорошей производительности, как написано на C ++.

0 голосов
/ 04 марта 2019

Может быть, этот вопрос лучше подходит для https://softwarerecs.stackexchange.com/

Кроме того, Cassandra довольно хорошо работает со многими вставками, когда вы просматриваете асинхронные вставки и пакеты, которые поражают только один узел.Мы делаем это каждый день с> 100 ГБ данных.

Имейте в виду, что вам понадобится стратегия, чтобы избавиться от старых данных в любой базе данных, которую вы выберете.Одна вещь, которую Кассандра не может обработать для вас - это «огромная» транзакция, которая делает данные видимыми после полной вставки.Вы должны сделать это на стороне приложения - для этого мы используем «маркерную вставку» и выполняем обработку в клиентах только тогда, когда маркер уже был установлен.

Также некоторые ребята из Instagram объединили RocksDB и Cassandra с Rocksandra:

https://github.com/Instagram/cassandra/tree/rocks_3.0 https://instagram -engineering.com / open-sourcing-a-10x-Reduction-в-апаша-Кассандра хвост задержки d64f86b43589

...