«Ошибка синтаксического анализа JSON: ожидается закрывающая кавычка в строке» при загрузке резервной копии Firebase в bigquery - PullRequest
0 голосов
/ 29 августа 2018

Я пытаюсь загрузить резервную копию базы данных Firebase Realtime в json.gz (размером 744 МБ и 5 ГБ после распаковки) из облачного хранилища в bigquery. Я пробовал через пользовательский интерфейс BigQuery и клиент Python, но я получаю эту ошибку ниже:

Ошибка при чтении данных, сообщение об ошибке: Не удалось проанализировать JSON: Ожидается закрывающая кавычка в строке; Не удалось разобрать значение; Не удалось разобрать значение; Не удалось разобрать значение

Так как это ежедневное резервное копирование на базе Firebase, я не уверен, что с данными будет неправильно?

Вот код Python (2.7.15), который используется для загрузки данных:

import os
from google.cloud import bigquery
credential_path = "path to credentials .json file"
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = credential_path
client = bigquery.Client()
dataset_id = 'my_new_dataset'

dataset_ref = client.dataset(dataset_id)
job_config = bigquery.LoadJobConfig()
job_config.autodetect = True
job_config.source_format = bigquery.SourceFormat.NEWLINE_DELIMITED_JSON
uri = 'gs://URI-PATH'
load_job = client.load_table_from_uri(
    uri,
    dataset_ref.table('hit_snapshot_table'),
    job_config=job_config)  # API request

assert load_job.job_type == 'load'

load_job.result()

Любая помощь / предложение приветствуется.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...