Google Cloud Pub / Sub для загрузки данных из конечной точки API и публикации sh в виде сообщения

Question

Я пытался создать конвейер в Google Cloud Data Fusion, где источником данных является конечная точка API стороннего производителя. Я не смог успешно использовать плагин HTTP , но было предложено использовать Pub / Sub для загрузки данных.

Я пытался следовать этому руководству в качестве отправной точки, но это не помогло мне с самым первым шагом процесса: получением данных из конечной точки API.

Может ли кто-нибудь привести примеры использования Pub / Sub - или любого другого жизнеспособного метода - для загрузки данных из конечной точки API и отправки этих данных в Data Fusion для преобразования и, в конечном итоге, в BigQuery?

Мне также потребуется возможность динамически изменять URI (например, параметры фильтра даты) в запросе GET в этом конвейере.

Answer 1

Чтобы выполнить первый шаг в учебном пособии, вы следите за

Получением CSV-данных (значений через запятую) в BigQuery с использованием Cloud Data Fusion .

Вам необходимо настроить функционирующий паб / подсистему. Это можно сделать через командную строку, консоль или, в вашем случае, лучше всего использовать одну из клиентских библиотек. Если вы будете следовать этому руководству, у вас должна быть функционирующая система публикаций / подсистем .

На этом этапе вы сможете следовать исходному уроку