Прогноз параллельного теста Keras на AWS - PullRequest
0 голосов
/ 11 октября 2018

Я работаю с керасом / тензорным потоком и хочу ускорить фазу прогнозирования теста предварительно обученной модели h5 с использованием AWS.Модель импортируется в ноутбук Jupyter через соединение с экземпляром AWS EC2.Данные извлекаются из корзины S3 в папку EBS на экземпляре EC2.Предсказатель-генератор затем запускается над изображениями в папке EBS, чтобы получить прогнозы модели для каждого изображения.Текущий код:

model = load_model('~/model_name.h5')
test_data_dir = ‘data/’
test_datagen = ImageDataGenerator(rescale=1. / 255)
test_generator = test_datagen.flow_from_directory(test_data_dir,target_size= (224, 224),batch_size=1,class_mode=‘categorical’,shuffle=False)
probabilities = model.predict_generator(test_generator, steps=10000000, verbose=1)

Как лучше всего решить эту проблему на AWS, учитывая предположение об очень большом количестве изображений и не зависимо от того, используется ли программирование на CPU или GPU?Каков наиболее эффективный способ прокручивать предсказатель-генератор по всем изображениям?

Бонус - код ломается, когда есть поврежденный файл (например, не JPG).Как лучше всего заставить генератор игнорировать это изображение?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...