Недавно я столкнулся с заявлением о проблеме при переносе данных из MongoDB в Google BigQuery.Я много исследовал в Интернете стандартную практику переноса данных из MongoDB в MySQL, но до сих пор не получил хорошего ответа.
Я знаю, что это очень тривиальная проблема, но я не могу найти оченьхорошее решение до сих пор.Поэтому я открываю это обсуждение для членов сообщества.
Возможные подходы, которые я разработал до сих пор -
- Создание нового решения для извлечения данных из MongoDB и загрузки его в BigQuery.Для этого я должен рассмотреть различные аспекты, такие как выравнивание вложенных объектов, обработка массива как значения объекта или вложенного объекта и т. Д. Но я не очень уверен в различных аспектах этого решения, таких как скорость, эффективность, корректность и т. Д.
- Нахождение предварительно проверенного подхода.Я нашел одну ссылку как MongoDB на BigQuery Но это решение в корне неверно в моей ситуации, потому что мы не можем исправить схему в MongoDB.Так что жесткое кодирование схемы BigQuery не имеет особого смысла.
Дайте мне знать, если кто-нибудь исследовал на этом фронте или есть какие-либо хорошие ресурсы, чтобы рекомендовать.
TIA