Как настроить автоматический импорт в Google Data Prep? - PullRequest
Новая
       33

Как настроить автоматический импорт в Google Data Prep?

0 голосов
/ 27 июня 2018

При использовании Google Data Prep я могу создавать автоматические расписания для запуска заданий, которые обновляют мои таблицы BigQuery.

Однако это кажется бессмысленным, если учесть, что данные, используемые в Prep, обновляются путем перетаскивания вручную CSV (или JSON, xlsx и т. Д.) В корзину хранения данных.

Я пытался найти точный способ автоматического обновления этого сегмента с помощью файлов, которые регулярно обновляются на моем ПК, но, похоже, нет лучшего решения, которое я мог бы найти.

Как нужно делать это эффективно и результативно?

1 Ответ

0 голосов
/ 13 июля 2018

Итак, для загрузки файлов с вашего компьютера в Google Cloud Storage существует несколько возможностей. Если вы просто запускаете процесс демона, который обрабатывает любые изменения в этом общем каталоге, вы можете кодировать автоматическую загрузку на следующих языках: C #, Go, Java, Node.JS, PHP, Python или Ruby.

У вас есть несколько примеров кода для загрузки объектов, но имейте в виду, что есть также подробные ссылки на клиентские библиотеки Cloud Storage , и вы также можете найти ссылки на GitHub в «Дополнительные ресурсы».

...