Есть ли коннектор ввода-вывода Https для Apache Beam?

Question

Я хочу, чтобы выходные данные моего конвейера Beam (на Java) записывались на другой сервер через Https, но я не нашел никаких встроенных соединителей.Я знаю, что можно создать собственный соединитель, но сначала я хочу узнать, существует ли что-нибудь уже.

Answer 1

Как заявил Антон, в настоящее время в Beam нет встроенной поддержки HTTPS IO.На websocket есть некоторая документация, которую я включу для справки.

Однако стандартный подход для выполнения чего-то подобного заключается в настраиваемом преобразовании, которое использует ParDo для записи каждого элемента в конечную точку.

Некоторые справочные материалы, которые могут помочь вам начать:

• Реализация Websocket: https://rmannibucau.metawerx.net/post/apache-beam-websocket-output
• Составное преобразование: https://beam.apache.org/documentation/programming-guide/#composite-transforms
• ParDo: https://beam.apache.org/documentation/programming-guide/#pardo

В качестве продолжения iFeng также опубликовал этот вопрос в группе разработчиков электронной почты, и вот ссылка на продолжение от разработчиков: https://lists.apache.org/thread.html/e082c02fc95354af5ccfc6d50aa9a08a2587c48c88d90e4f9272797b@%3Cdev.beam.apache.org%3E

Answer 2

В Beam нет встроенной поддержки HTTPS IO, вот список поддерживаемых IO: https://beam.apache.org/documentation/io/built-in/