Мультипроцессинг и (pandas dataframe + обработка изображений) - PullRequest
Новая
       16

Мультипроцессинг и (pandas dataframe + обработка изображений)

0 голосов
/ 15 апреля 2019

У меня есть pandas кадр данных, который выглядит следующим образом: 

image_id    category    sub image_path
1000        A           HH  images/ID_1000.png
512         A           HH  images/ID_512.png
1002        C           CC  images/ID_1002.png
236         B           XX  images/ID_236.png
...        ...          ...  .....

Какова конечная цель?

  • Группировка изображений по category.

  • Читать все изображения в категории. Преобразуйте его и сохраните на диск, используя skimage.

  • Скопируйте все значения, соответствующие строке, в которой изображение встречается, в новый кадр данных и измените image_path соответственно, чтобы указать на преобразованное изображение.

  • Поскольку фрейм данных объят, мне нужно распараллелить этот процесс.

Короче говоря, я хочу распараллелить эту функцию, используя pool: 

def transform_and_save(df, to_generate=5000):
    categories = {"A":0, "B":1, "C":2}
    save_dir_path = "new_images/"
    new_df = pd.DataFrame(columns=df.columns)
    final_count=0

    for cls in classes_to_aug.keys():
        orig_images = df[df["category"]==cls].reset_index(drop=True)

        orig_count = len(orig_images)
        nb_images_to_gen = to_generate - orig_count

        counter = 0
        stop = False

        while counter < nb_images_to_gen:
            for i in range(len(orig_images)):
                all_values = orig_images.loc[i]

                img = Path(orig_images["image_path"][i])
                img_name = img.name
                save_name = save_dir_path  + "newimg_" + str(counter) + img_name
                img = imread(img)
                img = resize(img, (200, 200))

                imsave(fname=save_name, check_contrast=False, arr=img)

                all_values["image_path"] = save_name               
                new_df.loc[final_count] = all_values 

                counter += 1
                final_count += 1
                if counter > nb_images_to_gen:
                    stop=True
                    break
            if stop:
                break
    return new_df
...