Я работаю с Logstash версии 5.5.3 и плагином вывода Google_bigquery v3.2.1
Я пытаюсь загрузить данные из раздела Kafka в BigQuery (работает с уровнем журнала отладки)
ВВ журнале я вижу такие строки как:
BQ: загрузить объект.{: имя_файла => "/ tmp / logstash-bq-5e1bba825d869e2118db8107f3019b2694a52505ef3b5973596f78ef5cfe / logstash_bq_barak-agg-tms-1.c.rnd-tms.internal_2018-12part.t_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_0_1 = 0
и я вижу, что данные были созданы во временных файлах на машине.
Однако Logstash не может загрузить данные в BigQuery:
[2018-12-05T13: 19: 02,302] [ОШИБКА] [logstash.outputs.googlebigquery] BQ:не удалось загрузить файл.Повторная попытка.{: Исключение => #}
Мои входные данные являются плоскими jsons и используют конфигурацию json_schema:
json_schema => { fields => [ { name => "sourceId" type => "STRING" },{ name => "targetId" type => "STRING" },{ name => "tmsTimestamp" type => "TIMESTAMP" },{ name => "latency" type => "FLOAT" },{ name => "targetType" type => "STRING" },{ name => "type" type => "STRING" },{ name => "network" type => "STRING" },{ name => "targetIp" type => "STRING" },{ name => "linkId" type => "STRING" },{ name => "sourceIp" type => "STRING" },{ name => "targetHostname" type => "STRING" },{ name => "targetTMAPort" type => "INTEGER" },{ name => "timestamp" type => "TIMESTAMP" } ] }