Java Apache beam - проблема с боковым вводом - PullRequest
0 голосов
/ 12 июня 2019

Мы передаем поток данных с помощью FixedWindow в течение 5 минут. Мы используем эти данные за 5 минут для запросов к базе данных Google Spanner и на основе результатов, которые нам нужно вставить в другую таблицу в Spanner.

Таким образом, наряду с этим набором результатов и входными данными из потокового потока данных нам нужно вставить в другую таблицу

Итак, мы создаем представление из набора результатов и передаем это представление в качестве бокового ввода для следующего шага.

На следующем шаге наряду с этим побочным вводом мы выполним некоторую обработку и вставим данные в базу данных

Мы используем SpannerIO для чтения данных из базы данных.

Предположим, что если на боковом входе отсутствуют данные (данные отсутствуют в базе данных), следующий шаг не выполняется, даже если на основном входе есть данные.

Но и в этом случае нам нужно вставить данные в базу данных. Из-за этой проблемы со входом стороны конвейер потока данных останавливается.

...