Использование Python для отправки данных из твиттера непосредственно в хранилище данных Google Cloud - PullRequest
0 голосов
/ 08 ноября 2018

Как можно отправить данные из Twitter напрямую в хранилище данных Google Cloud. Хотелось бы пропустить шаг, сначала загрузив его на мой локальный компьютер, а затем загрузив его в облако. Это будет работать один раз. Не ищет полный код, но какие-либо указатели или учебники, из которых кто-то мог бы извлечь уроки. Использование python для взаимодействия с Google-облаком и хранилищем.

Любая помощь будет оценена.

1 Ответ

0 голосов
/ 08 ноября 2018

Вот запись в блоге , которая описывает следующую архитектуру:

  • Запустить скрипт Python на Compute Engine
  • Перемещение ваших данных в BigQuery для хранения

Вот еще один , который описывает несколько более сложную архитектуру, включая возможность анализа твитов:

  • Использовать шаблоны потоков данных Google Cloud
  • Запуск конвейеров потока данных из приложения Google App Engine (GAE)
  • Для поддержки заданий MapReduce
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...