Произошла ошибка при завершении итератора GeneratorDataset: Отменено: Операция отменена

Question

Во время работы конвейера kubeflow с кодом, который использует тензор потока 2.0. приведенная ниже ошибка отображается в конце каждой эпохи

Вт tenorflow / core / kernels / data / generator_dataset_op ядра / ядра / *. 1012 *: 103] Ошибка при завершении итератора GeneratorDataset: Отменено: операция была отменена

Кроме того, после некоторых эпох он не показывает журнал и показывает эту ошибку

Этот шаг находится в состоянии Failed с этим сообщением: узлу не хватает ресурса: память. Основной контейнер использовал 100213872Ki, что превышает его запрос на 0. Ожидание контейнера использовало 25056Ki, что превышает его запрос на 0.

Answer 1

В моем случае я не соответствовал batch_size и steps_per_epoch

Например,

his = Test_model.fit_generator(datagen.flow(trainrancrop_images, trainrancrop_labels, batch_size=batchsize), steps_per_epoch=len(trainrancrop_images)/batchsize, validation_data=(test_images, test_labels), epochs=1, callbacks=[callback])

batch_size в потоке данных должно соответствовать steps_per_epoch в Test_model.fit_generator (на самом деле, я использовал неправильное значение на steps_per_epoch)

Это один из случаев ошибки, я думаю.

Как В результате, я думаю, что проблема возникает, когда есть неправильное соответствие по размеру пакета и шагам (итерации)

Возможно, с плавающей точкой может возникнуть проблема, когда вы получаете шаг путем деления ...

Проверьте ваш код на предмет этой проблемы.

Удачи:)

Answer 2

Это произошло из-за несовместимых версий CUDA и Tensorflow. нижеприведенные версии хорошо работают друг с другом

tenorflow-gpu == 2.0.0

аддоны тензорного потока == 0.6.0

nvidia / cuda: 10.0- cudnn7-runtime

Answer 3

У меня такая же проблема. Люди утверждали, что потепление является излишним, и оно было убрано ночью, см. здесь . Но утечка памяти все еще существует для каждой эпохи.

Answer 4

В моем случае: я установил tf-nightly. Теперь он работает, хотя я новичок в tenorflow. Я перешел по этой ссылке

Вы можете попробовать.