MongoDB + Google Big Query - нормализация данных и импорт в BQ

Question

Я провел немало поисков, но не смог найти в этом сообществе ничего, что соответствовало бы моей проблеме.

У меня есть коллекция MongoDB, которую я хотел бы нормализовать и загрузить в Google Big Query.К сожалению, я даже не знаю, с чего начать этот проект.

Каков наилучший подход к нормализации данных?Оттуда, что рекомендуется при загрузке этих данных в BQ?

Я понимаю, что здесь я не буду вдаваться в подробности ... но любая помощь будет признательна.Пожалуйста, дайте мне знать, если я могу предоставить любую дополнительную информацию.

Answer 1

В дополнение к ответу, предоставленному SirJ, у вас есть несколько вариантов загрузки данных в BigQuery, включая загрузку данных в облачное хранилище, локальный компьютер, поток данных, как уже упоминалось здесь . Облачное хранилище поддерживает данные в нескольких форматах , таких как CSV, JSON, Avro, Parquet и другие.У вас также есть различные опции для загрузки данных с использованием веб-интерфейса, командной строки, API или клиентских библиотек, которые поддерживают C #, GO, Java, Node.JS, PHP, Python и Ruby.

Answer 2

Если вы используете python, вы можете просто прочитать коллекцию и использовать метод to_gbq от pandas.Легко и довольно быстро реализовать.Но лучше узнать больше.