хранить DStream, контрольный пункт, сохраняться?

Question

Я новичок в программировании потокового воспроизведения. как я могу отобразить результат и сохранить его, и тогда новый результат зависит от нового DStream и этого старого результата. версия spark = 1.6.0 kafka версия 2.10 и java

пожалуйста, помогите.

Answer 1

Вы можете использовать метод persist () для сохранения промежуточных результатов в памяти или на диске в зависимости от объема данных. Доступ к нему можно получить при следующей обработке потока данных. Контрольная точка предназначена для перезапуска задания с точки сбоя в случае перезапуска потокового задания. Контрольная точка Spark по умолчанию отслеживает последнее успешно прочитанное сообщение kafka и сохраняет смещение. Но в нем есть ошибка до версии 2.2 spark, что она будет повторно обрабатывать последний успешный пакет dstream снова при рестарте. См. документацию по свечам ниже. https://spark.apache.org/docs/1.6.0/streaming-programming-guide.html#caching--persistence