Оптимизация работы с панелями данных с помощью qcut - PullRequest
Новая
       16

Оптимизация работы с панелями данных с помощью qcut

0 голосов
/ 28 февраля 2019

Я пытаюсь преобразовать столбцы данных в сгруппированные данные.Это использует pandas qcut: 

            # Get first column to quartile
            firstCol = df.columns.get_loc(411.447817504) # Get column num of first wavelength

            # We need the list of column titles. 
            cols = df.columns

            # We loop through our 1100 columns to apply quartiling
            for colLoc in range(0,1100):

                # Print what column is being processed
                print(f'Column {colLoc}')
                column_name = cols[firstCol+colLoc]

                # Generate and apply quartiling
                df[column_name] = pd.qcut(df[column_name].astype('float'), 4, ['q1','q2','q3','q4'])

Есть ли способ ускорить этот процесс?Возможно, с помощью массивов np и одновременного копирования в df?

...