Почему обработка данных становится намного медленнее при реализации строкового значения? - PullRequest
Новая
       28

Почему обработка данных становится намного медленнее при реализации строкового значения?

0 голосов
/ 22 сентября 2019

При попытке обработать данные, как только я добавляю метку и присваиваю ей значение "собака" в качестве примера, время обработки увеличивается настолько, что делает невозможным заполнение моего списка за разумное время.

Если я сохраню значение как целое число, то заполнение списка займет несколько секунд, с чем это связано?Есть ли способ предотвратить эту проблему, оставляя собаку в качестве ярлыка? 

import pandas as pd
from PIL import Image
import glob
columnNames = list()
columnNames.append('label')
for i in range(90000):
    pixel = 'pixel'
    pixel += str(i)
    columnNames.append(pixel)


train_data = pd.DataFrame(columns = columnNames)



dogs = glob.glob("data/smallDogs/*.jpg")

for i in range(0, len(dogs)):
    t = i
    img = Image.open(dogs[i])
    rawData = img.load()
    data = []
    data.append(0) # as soon as I append a string value, the processing takes so much longer.
    # data.append('dog')
    for y in range(300):
        for x in range(300):
            data.append(rawData[x,y][0])

    k = 0
    train_data.loc[i] = [data[k] for k in range(90001)]
    print('Processed ', str(i))


print(train_data)
train_data.to_csv("train_converted.csv",index = False)
...