Я пытаюсь загрузить резервную копию базы данных Firebase Realtime в json.gz (размером 744 МБ и 5 ГБ после распаковки) из облачного хранилища в bigquery.
Я пробовал через пользовательский интерфейс BigQuery и клиент Python, но я получаю эту ошибку ниже:
Ошибка при чтении данных, сообщение об ошибке: Не удалось проанализировать JSON: Ожидается закрывающая кавычка в строке; Не удалось разобрать значение; Не удалось разобрать значение; Не удалось разобрать значение
Так как это ежедневное резервное копирование на базе Firebase, я не уверен, что с данными будет неправильно?
Вот код Python (2.7.15), который используется для загрузки данных:
import os
from google.cloud import bigquery
credential_path = "path to credentials .json file"
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credential_path
client = bigquery.Client()
dataset_id = 'my_new_dataset'
dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.autodetect = True
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = 'gs://URI-PATH'
load_job = client.load_table_from_uri(
uri,
dataset_ref.table('hit_snapshot_table'),
job_config=job_config) # API request
assert load_job.job_type == 'load'
load_job.result()
Любая помощь / предложение приветствуется.