может ли Stream Stream хранить данные в базе данных для каждой партии?

Question

Можно ли поддерживать базу данных в искре, где исполнители пишут и читают из нее данные пакета, а затем очищает базу данных, чтобы снова запустить ее для следующего пакета.

Это быстро, если мы говорим о 100 000 записей в пакете? какую базу данных я должен использовать для начинающих?

Answer 1

Да, возможно хранить данные каждой партии.

Streaming Sink - Добавление пакетов данных в хранилище

Spark Streaming - получить статистику производительности на уровне партии

Вы можете хранить данные в HDFS, базах данных NO-SQL, таких как Cassandra, HBase, MongoDB. Выбор какой-либо конкретной цели хранения данных (базы данных в вашем случае) зависит от вашей бизнес-проблемы.

Существует компромисс для использования каждой базы данных в скорости поиска производительности, скорости обработки, объеме памяти и т. Д. сравнение