Ускорение панд при работе с транспонированной матрицей

Question

Я пытался выяснить, что быстрее стандартизировать дату между numpy и pandas, и использовал всю матрицу / DataFrame или столбец за столбцом, и я обнаружил это странное поведение, показанное в коде ниже

import pandas as pd
import numpy as np

def stand(df):
    res = pd.DataFrame()
    for col in df:
        res[col] = (df[col] - df[col].min()) / df[col].max()
    return res

matrix = pd.DataFrame(np.random.randint(0,174000,size=(1000000, 100)))
matrix.shape
(1000000, 100)


%timeit res = (matrix - matrix.min(axis=0))/ matrix.max(axis=0)
2.64 s ± 22.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit stand(matrix)
5.32 s ± 12.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Но при запуске из "перевернутой" матрицы с пустыми фрагментами и ее транспонировании для создания DataFrame

matrix = pd.DataFrame(np.random.randint(0,174000,size=(100, 1000000)).T)
matrix.shape
(1000000, 100)


%timeit res = (matrix - matrix.min(axis=0))/ matrix.max(axis=0)
2.37 s ± 18.5 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit stand(matrix)
1.2 s ± 8.06 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Выполнение столбца стандартизации по столбцу происходит примерно в 4 раза быстрее.

Это поведение также сохраняется при использовании операций .values или numpy, как показано ниже:

%timeit res = (matrix.values - matrix.min(axis=0).values)/ matrix.max(axis=0).values
2.58 s ± 417 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit stand(matrix)
5.26 s ± 42.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit res = np.divide(np.subtract(matrix.values, matrix.min(axis=0).values), matrix.max(axis=0).values)
2.17 s ± 7.32 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

#Flipped matrix transpose
matrix = pd.DataFrame(np.random.randint(0,174000,size=(100, 1000000)).T)
matrix.shape
(1000000, 100)

%timeit res = (matrix.values - matrix.min(axis=0).values)/ matrix.max(axis=0).values
2.2 s ± 8.82 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit stand(matrix)
1.33 s ± 190 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

%timeit res = np.divide(np.subtract(matrix.values, matrix.min(axis=0).values), matrix.max(axis=0).values)
2.46 s ± 166 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Может кто-нибудь объяснить, почему начинать с обращенной матрицы, а затем транспонировать ее перед созданием DataFrameменяет производительность, начиная с нереверсивной матрицы?