Потоковая передача: падающее окно против микропакета

Question

Чем переворачивающееся окно в 5 секунд при обработке потока отличается от микропакета в 5 секунд при микропакете? Оба имеют неперекрывающееся окно 5 секунд, в течение которого они обрабатывают записи, а затем переходят.

Я понимаю, что в обработке потока есть понятие времени: событие, поглощение и время обработки. Можем ли мы сделать вывод, что потоковая обработка с использованием микропакета - это не что иное, как потоковая обработка с использованием переворачивающегося окна с указанием времени приема или времени обработки?

Answer 1

Насколько я понимаю, они очень похожи с точки зрения результатов.Они позволят обрабатывать некоторые части данных за указанный период времени.

Вы правы в Spark из-за конструктивных ограничений. Spark Streaming считывает очень небольшую часть данных, используя заданную продолжительность.

На мой взгляд, самая большая разница между ними - это цель.Микропакетирование в Spark используется для ограничения потребления данных из источника.Но Windows во Flink используются для обработки данных, они создаются после чтения, поэтому они не влияют на скорость чтения потребителем.

Answer 2

После более подробного изучения, вот мой вывод

• Более ранние версии Spark, по крайней мере, 1,6, насколько мне известно ( не стесняйтесь поправлять меня ), концепция обработки потока основывалась на микропакете, где обработка потока обрабатывается как особый случай пакета, так что поток может быть обработан в микропакетах конечной (очень малой) длительности.

• Акробатическое окно - это часть развитой модели обработки потока (где данные продолжают поступать в гигантскую неограниченную таблицу и где пакет обрабатывается как особый случай обработки потока), и он работает:

  1. блокируя «прошлое» неограниченного гигантского окна / таблицы
  2. и , а затем с нетерпением ожидая входящих данных в это гигантское окно за конечное время в будущем, скажем, 10 секунд
  3. обработка
  4. возврат к шагу 1

Таким образом, микробатирование как черный ящик очень похожек падающему окну, но на самом деле разница заключается в базовой архитектуре / дизайне / подходе, который был принят для реализации обработки окна.

Источники:

• Мартин Клепманн: Разработка приложений с интенсивным использованием данных

• http://blog.madhukaraphatak.com/introduction-to-flink-streaming-part-2/