Как работать с набором данных kaggle в zip-файле? - PullRequest
Новая
       40

Как работать с набором данных kaggle в zip-файле?

0 голосов
/ 04 июля 2019

Я работаю над этим набором данных kaggle из «APTOS 2019 Blindness Detection», и набор данных находится внутри zip-файла.Я хочу предварительно обработать набор данных для подачи в модель глубокого обучения.

Мой код выглядит так: 

train_dir = '../input/train_images'
train_labels = pd.read_csv('../input/train.csv')
train_labels['diagnosis'] = train_labels['diagnosis'].astype(str)

test_dir = '../input/test_images'

, а затем для предварительной обработки я написал: 

from keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator(
    rotation_range=40, 
    width_shift_range=0.2, 
    height_shift_range=0.2, 
    shear_range=0.2, 
    zoom_range=0.2,
    horizontal_flip=True, 
    vertical_flip=True, 
    rescale=1./255,)

test_datagen = ImageDataGenerator(rescale = 1./255)

train_generator = train_datagen.flow_from_dataframe(
    train_labels[:3295], 
    directory=train_dir, 
    x_col='id_code', y_col='diagnosis', 
    target_size=(150, 150), 
    color_mode='rgb', 
    class_mode='categorical', 
    batch_size=32, 
    shuffle=True,)

validation_generator = test_datagen.flow_from_dataframe(
    train_labels[3295:], 
    directory=train_dir, 
    x_col='id_code', y_col='diagnosis', 
    target_size=(150, 150), 
    color_mode='rgb', 
    class_mode='categorical', 
    batch_size=32, 
    shuffle=True,)

Но когда я запускаю код.Я получаю результаты:

Найдено 0 проверенных имен файлов изображений, принадлежащих к 0 классам.
Найдено 0 проверенных имен файлов изображений, принадлежащих к 0 классам.

Я также попытался разархивировать файлы, но этоне разархивировать высказывание
FileNotFoundError: [Errno 2] Нет такого файла или каталога: 'train_images.zip' 

# importing required modules 
from zipfile import ZipFile 

# specifying the zip file name 
file_name = "../input/train_images.zip"

# opening the zip file in READ mode 
with ZipFile(file_name, 'r') as zip: 

    # extracting all the files 
    print('Extracting all the files now...') 
    zip.extractall()

Так может кто-нибудь помочь мне решить эту проблему?Я буду признателен за это

1 Ответ

1 голос
/ 04 июля 2019

У вас есть изображения, уже распакованные в каталоге ../home/train_imagesЗапустите это в вашем ядре: 

from os import listdir
listdir('../input/train_images/')

Используйте ImageDataGenerator.flow_from_directory(), чтобы использовать изображения в каталоге с вашим генератором.Проверьте документы Keras: https://keras.io/preprocessing/image/#imagedatagenerator-methods

...