Сообщение об ошибке Cuda: F ./tensorflow/core/util/cuda_launch_config.h:127] Проверка не пройдена: work_element_count> 0 (0 против 0)

Question

Я пытаюсь обучить маску модели rcnn , используя Keras в моем собственном наборе данных на экземпляре p2.xlarge EC2 aws.

Когда я начинаю тренировку, после нескольких шагов обучения:

Epoch 1/1    2/1000 [..............................] - ETA: 4:27:49 - loss: 5.1578 - rpn_class_loss: 0.0937 - rpn_bbox_loss: 0.6471 - mrcnn_class_loss: 2.6594 - mrcnn_bbox_loss: 1.1266 - mrcnn_mask_loss:
0.6311

Я получаю это сообщение об ошибке:

2018-05-02 13:44:56.193439: F ./tensorflow/core/util/cuda_launch_config.h:127] Check failed: work_element_count > 0 (0 vs. 0)

Мои изображения относительно маленькие (~ 100 КБ), в моем наборе данных немного (~ 150).

Конфигурация, которую я использую, выглядит следующим образом:

class CustomConfig(Config):
    """Configuration for training on the custom dataset.
    Derives from the base Config class
    """
    # Give the configuration a recognizable name
    NAME = "blabla"

    # We use a GPU with 12GB memory, which can fit two images.
    # Adjust down if you use a smaller GPU.
    IMAGES_PER_GPU = 2

    # Number of classes (including background)
    NUM_CLASSES = 11

Есть предложения? Спасибо!

Answer 1

Я понизил свой пакет tenorflow-gpu до 1.7.0, и он заработал