Загрузка JSON в BigQuery / JSON ошибка синтаксического анализа в строке, начинающейся в позиции ...: синтаксический анализатор завершен до конца строки

Question

Я пытаюсь загрузить 350MB JSON файл в BigQuery с помощью Airflow GoogleCloudStorageToBigQueryOperator. Задание всегда останавливается на некоторой позиции N (N никогда не изменяется) с этой ошибкой: Error while reading data, error message: JSON parsing error in row starting at position 170468557: Parser terminated before end of string

Я искал эту строку в файле, который выглядит следующим образом:

{"active": true,
"currency": "USD",
"dangerous": "all",
"filing_reference": null,
"is_freight": false,
"max": NaN,
"min": 15.0,
"rate": 15.0,
"rate_unit": "teu",
"rates": [],
"rates_fixed": null,
"shipowner_id": "12",
"thresholds": [],
"transit_time": null,
"updated_at": 1566912641.0,
"validity_end": 1556582400.0,
"validity_start": 1554076800.0,
"via": "UNKNOWN"}

Схема BigQuery генерируется из значений типа Postgres. Эта ошибка не совсем ясна, я буду признателен за помощь!

Answer 1

Мы получили ту же ошибку через несколько дней go, она исходит от NaN в вашем "max"

Этот тип JSON может быть проанализирован, например, с python, но когда это касается BigQuery, он выдает ошибку

=> Обязательно замените NaN на «ноль», он должен работать

Надеюсь, это поможет!