Есть ли способ вызвать Bing-ads api через конвейер и загрузить данные в Bigquery через Google Data Fusion?

Question

Я создаю конвейер в Google Data Fusion, который позволяет мне экспортировать мои данные bing-объявлений в Bigquery, используя мой токен разработчика bing-ads.Я не смог найти источники данных, которые должны быть добавлены в мой конвейер при объединении данных.Поддерживается ли выборка данных из вызовов API даже в Google Data Fusion, и если да, то как это можно сделать?

Answer 1

Исходники на основе HTTP для Cloud Data Fusion в настоящее время находятся в разработке и будут выпущены Q3.Не могли бы вы подробнее рассказать о вашем сценарии использования, чтобы мы могли быть уверены, что эти плагины будут охватывать ваши требования?Например, вы хотите построить пакетный конвейер или конвейер в реальном времени?

Между тем, у вас есть два следующих более непосредственных варианта / обходных пути:

1. Если выХорошо, сохранив данные в промежуточной области в GCS перед загрузкой в ​​BigQuery, вы можете использовать плагин HTTPToHDFS, который доступен в Hub.Используйте путь, начинающийся с gs: /// path / to / file
2. В качестве альтернативы, мы также приветствуем вклады, поэтому вы также можете создать плагин с помощью API-интерфейсов Cloud Data Fusion.Мы с радостью поможем вам с указанием документации и образцов.