В настоящее время мы используем крайний узел has oop для всех наших действий.
Я выполняю rsyn c в папку HDFS с удаленного linux компьютера с помощью простой команды rsyn c --update.
Теперь мы переходим с has oop на GCP.
- Какое лучшее место для хранения файлов csv (которые генерируются каждый день) - я использовал внешнюю таблицу hive в has oop, указывающую на расположение rsyn c HDFS - теперь как сделайте это в GCS-BigQuery
Пожалуйста, помогите мне здесь, так как я понятия не имею о GCS - я искал в inte rnet, но мало помог.
Пожалуйста, обратите внимание, что удаленный компьютер linux является сервером PROD, и мы не сможем установить там инструменты gsutil.
Спасибо.