Большой запрос к TF Record - PullRequest
Новая
       46

Большой запрос к TF Record

0 голосов
/ 15 февраля 2019

Моя цель - проверить мои данные в BQ, используя тензор потока-проверки данных для моей среды машинного обучения.Итак, в качестве первого шага я пытаюсь сгенерировать файл tfrecord из результата моего запроса BQ.

Я пытаюсь сделать это с помощью Apache-Beam.Но есть некоторая проблема с кодировкой. 

 **Apache-Beam Code**     
(pipeline | 'Read Input Data' >> beam.io.Read(beam.io.BigQuerySource(
    query=input_query,
    use_standard_sql=True,
    coder=coders.BytesCoder()
))
 | 'Generate TF Record' >> beam.io.WriteToTFRecord('path/to/output/',
   coder=coders.BytesCoder(),                                                   
   file_name_suffix='.tfrecord.gz'))

**Tensorflow-Data-Validation-Code:**
tfdv.generate_statistics_from_tfrecord(
    data_location='path/to/output/',
    pipeline_options=pipeline_options
)

Выдается сообщение об ошибке: DecodeError: Ошибка разбора сообщения [во время выполнения DecodeData '] .Могут ли некоторые помочь мне решить эту проблему

...