Я новичок в создании конвейеров, и я использовал твиттер API для потоковой передачи данных. Мой текущий подход заключается в следующем:
- Я отправляю потоковые данные в Topi c на pub / sub, который запускает облачную функцию для вставки сообщения в BigQuery после обработки.
- Другим рекомендуемым подходом было использование pub / sub + DataFlow, но я не уверен, как это изменится.
Может кто-нибудь рассказать о плюсах и минусах этих двух подходит?