Как напечатать поврежденное имя файла tfrecord со смещением - PullRequest
Новая
       18

Как напечатать поврежденное имя файла tfrecord со смещением

0 голосов
/ 20 марта 2020

При запуске ResNet50 на TensorFlow с TFRecord я столкнулся с проблемой corrupted record at 0. Чтобы исследовать эту проблему, я хочу напечатать имя файла с информацией о смещении в https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/lib/io/record_reader.cc#L105

 (0) Data loss: corrupted record at 0
     [[{{node MultiDeviceIteratorGetNextFromShard}}]]
     [[RemoteCall]]
     [[input_processing/IteratorGetNext]]
     [[cluster_5_1/merge_oidx_1/_951]]
  (1) Data loss: corrupted record at 0
     [[{{node MultiDeviceIteratorGetNextFromShard}}]]
     [[RemoteCall]]
     [[input_processing/IteratorGetNext]]
0 successful operations.
0 derived errors ignored.
Traceback (most recent call last):
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1356, in _do_call
    return fn(*args)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1341, in _run_fn
    options, feed_dict, fetch_list, target_list, run_metadata)
  File "/usr/local/lib/python3.6/site-packages/tensorflow/python/client/session.py", line 1429, in _call_tf_sessionrun
    run_metadata)
tensorflow.python.framework.errors_impl.DataLossError: 2 root error(s) found.

Я пытался https://github.com/cheyang/tensorflow/commit/54015629282b35d848d3c64550d15c3804e05c8d, но, к сожалению, это не работает Я столкнулся с ошибкой сегмента. 

rogram terminated with signal SIGSEGV, Segmentation fault.
#0  0x00007fc26ff42269 in raise (sig=11) at ../sysdeps/unix/sysv/linux/pt-raise.c:35
35  ../sysdeps/unix/sysv/linux/pt-raise.c: No such file or directory.
[Current thread is 1 (Thread 0x7fbde97fa700 (LWP 31758))]
(gdb)
(gdb) bt
#0  0x00007fc26ff42269 in raise (sig=11) at ../sysdeps/unix/sysv/linux/pt-raise.c:35
#1  <signal handler called>
#2  0x00007fc1ad482901 in tensorflow::io::RecordReader::ReadChecksummed(unsigned long long, unsigned long, std::string*) ()
   from /usr/local/lib/python3.6/dist-packages/tensorflow_core/python/../libtensorflow_framework.so.1
#3  0x00007fc1ad483318 in tensorflow::io::RecordReader::ReadRecord(unsigned long long*, std::string*) ()
   from /usr/local/lib/python3.6/dist-packages/tensorflow_core/python/../libtensorflow_framework.so.1
#4  0x00007fc1b356966f in tensorflow::data::TFRecordDatasetOp::Dataset::Iterator::GetNextInternal(tensorflow::data::IteratorContext*, std::vector<tensorflow::Tensor, std::allocator<tensorflow::Tensor> >*, bool*) ()
   from /usr/local/lib/python3.6/dist-packages/tensorflow_core/python/_pywrap_tensorflow_internal.so
#5  0x00007fc1ad09fa1e in tensorflow::data::DatasetBaseIterator::GetNext(tensorflow::data::IteratorContext*, std::vector<tensorflow::Tensor, std::allocator<tensorflow::Tensor> >*, bool*)
    ()
   from /usr/local/lib/python3.6/dist-packages/tensorflow_core/python/../libtensorflow_framework.so.1
#6  0x00007fc1b34e1db1 in

Извините, я не знаком с Tensorflow и C ++. Можете ли вы помочь мне узнать, как заставить его работать, и напечатать имя файла со смещением?

...