Обучение с удаленных ресурсов

Question

Все,

Я исследовал некоторые из них и нигде не нашел четкого ответа.

Используя Keras с бэкэндом TF, как вы можете обучить модель с использованием ресурсов (таких как изображениянапример) это не локальные, а удаленные активы.

Например, если на s3 у вас есть 1M изображений, которые помечены, но не упорядочены по папкам, существует ли практический способ потоковой передачи данных способом, который Keras может использовать для обучения модели?

Я думаю, что я бы поставил файл в формате:

{ label: "Apple", img: http://someurl/img.jpg }
{ label: "Banana", img: http://someurl/img.jpg }
{ label: "Orange", img: http://someurl/img.jpg }

Вы можете использовать preprocessing.load_img или pillow, чтобы получить и изменить размер URL.

Этот вопрос больше о правильном процессе для этого и осуществимости?

Answer 1

Это было бы возможно при отражении API генератора Keras.Вы можете создать стандартный генератор Python, который имеет индекс URL-адресов изображений и выдает пакеты изображений, загруженных с этих URL-адресов.

Однако я бы не рекомендовал такой подход.Загрузка изображений из Интернета вносит дополнительную задержку, которая может значительно замедлить обучение вашей модели.Единственный случай, когда это может быть хорошей идеей, это если у вас буквально нет места на вашем SSD для хранения всего набора данных, и / или вы обнаружите, что время, необходимое для загрузки пакета изображений, мало по сравнению свремя, необходимое для обучения этой партии.