Использование Cron для экспорта данных из базы данных mysql в CSV, а затем получение всех этих данных в таблицу больших запросов

Question

Использование Cron для экспорта данных из базы данных mysql в CSV, затем чтение этого CSV-файла и получение всех его данных в облаке Google с помощью bigquery

Здравствуйте, ребята, у меня есть база данных Mysql с именем db_test и одна таблица вон называется members_test (идентификатор, имя).Я работаю на Linux Ubunto OS.Я пытаюсь использовать cronjob для переноса данных в полночь из этой таблицы в файл CSV.Также я хочу позволить bigquery каким-то образом прочитать этот CSV-файл, взять его данные и поместить их в таблицу с именем cloud_members_tab, сохраненную на облачной платформе Google.

Как это сделать?

Answer 1

1. убедитесь, что ваш CSV сгенерирован правильно (не полагайтесь на экспорт MySQL CSV изначально)
2. установите gsutil и bq утилиту командной строки
3. загрузите CSVв Google Cloud Storage

используйте команду оболочки, как показано ниже:

gsutil cp -j -o = "GSUtil: parallel_composite_upload_threshold = 150M" /tmp/export.csv gs: //bucket/export.csv

использовать bq load

bq load --source_format = CSV --field_delimiter = "," --null_marker = "\ N" --allow_quoted_newlines --autodetect --source_format= CSV dataset.tablename gs: //bucket/export.csv