Почему WriteToBigQuery не показывает никаких ошибок?

Question

Наконец мне удалось загрузить данные в BQ, обнаружив, что у меня неверная схема.Однако отладку было очень сложно, потому что у меня не было журналов с моим DirectRunner.Как я могу отладить пишет WriteToBigQuery, когда у меня есть, например.неверная схема?

Мой код:

lines = messages | 'decode' >> beam.Map(lambda x: x.decode('utf-8'))
  output = ( lines
           | 'process' >> beam.FlatMap(lambda xml: [jsons.dump(model) for model in process_xmls(xml)])
           | beam.WindowInto(window.FixedWindows(1, 0)))

  output | 'Write to BiqQuery' >> beam.io.WriteToBigQuery(
            table='dataflow.test_V1',
            schema=fp_schema,
            create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED,
            write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND)

Answer 1

beam.io.WriteToBigQuery PTransform возвращает словарь, чья запись BigQueryWriteFn.FAILED_ROWS содержит PCollection всех строк, которые не удалось записать. Сами ошибки регистрируются в https://github.com/apache/beam/blob/release-2.13.0/sdks/python/apache_beam/io/gcp/bigquery.py#L861, поэтому должны отображаться в журналах рабочих.