Мы каждый час загружаем данные из базы данных Postgres в BigQuery с помощью StreamSets Data Collector и с помощью insertAll API. В общем, это работает, но почти каждое утро (8 из последних 10 дней) задание, выполняющееся около 6:00 утра Pacifi c, завершается сбоем, и все строки для ~ 25 таблиц возвращаются с сообщением «Backend Error». Общий объем загружаемых данных составляет около 150 МБ.
Есть ли способ получить более полное представление о том, что может вызывать эти ошибки в течение этого периода времени? Считаются ли эти Backend-ошибки «нормальными»?
Здесь используется сборщик данных StreamSets, поэтому на самом деле нет никакого кода для публикации. Этап отправки в строках - это HTTP-процессор, который использует https://bigquery.googleapis.com/bigquery/v2/projects/{projectid}/datasets/{dataset}/tables/{table}/insertAll