Google Colab работает медленно при чтении изображений с Google Диска - PullRequest
Новая
       33

Google Colab работает медленно при чтении изображений с Google Диска

0 голосов
/ 01 декабря 2019

У меня есть свой собственный набор данных для проекта глубокого обучения. Я загрузил это в Google Drive и связал со страницей Colab. Но Colab мог читать только 2-3 изображения в секунду, где мой компьютер может десятки из них. (Я использовал imread для чтения изображений.)

Нет проблем со скоростью при компиляции модели керас , но только при чтении изображений из Google Drive. Кто-нибудь знает решение? Кто-то тоже страдал от этой проблемы, но она все еще не решена: Google Colab очень медленно читает данные (изображения) с Google Drive (я знаю, что это своего рода дублирование вопроса в ссылке, но я повторно разместилэто потому, что это было не решено. Я надеюсь, что это не является нарушением правил переполнения стека.)

Редактировать: фрагмент кода, который я использую для чтения изображений: 

def getDataset(path, classes, pixel=32, rate=0.8):
    X = []
    Y = []

    i = 0
    # getting images:
    for root, _, files in os.walk(path):
        for file in files:
            imagePath = os.path.join(root, file)
            className = os.path.basename(root)

            try:
                image = Image.open(imagePath)
                image = np.asarray(image)
                image = np.array(Image.fromarray(image.astype('uint8')).resize((pixel, pixel)))
                image = image if len(image.shape) == 3 else color.gray2rgb(image)
                X.append(image)
                Y.append(classes[className])
            except:
                print(file, "could not be opened")

    X = np.asarray(X, dtype=np.float32)
    Y = np.asarray(Y, dtype=np.int16).reshape(1, -1)

    return shuffleDataset(X, Y, rate)
...