Самый быстрый способ для 2D квантиля скользящего окна?

Question

Я хочу вычислить скользящий квантиль большой 2D-матрицы с размерами ( 1e6, 1e5 ) по столбцам. Я ищу самый быстрый способ, так как мне нужно выполнить эту операцию тысячи раз, и это очень дорого в вычислительном отношении. Для экспериментов window = 1000 и q = 0.1 .

import numpy as np
import pandas as pd
import multiprocessing as mp
from functools import partial
import numba as nb
X = np.random.random((10000,1000)) # Original array has dimensions of about (1e6, 1e5)

Мои текущие подходы:

Pandas: %timeit: 5.8 s ± 15.5 ms per loop

def pd_rolling_quantile(X, window, q):
    return pd.DataFrame(X).rolling(window).quantile(quantile=q)

Numpy Пошаговое: %timeit: 2min 42s ± 3.29 s per loop

def strided_app(a, L, S):
    nrows = ((a.size-L)//S)+1
    n = a.strides[0]
    return np.lib.stride_tricks.as_strided(a, shape=(nrows,L), strides=(S*n,n))
def np_1d(x, window, q):
    return np.pad(np.percentile(strided_app(x, window, 1), q*100, axis=-1), (window-1, 0) , mode='constant')
def np_rolling_quantile(X, window, q):
    results = []
    for i in np.arange(X.shape[1]):
        results.append(np_1d(X[:,i], window, q))
    return np.column_stack(results)

Многопроцессорная обработка: %timeit: 1.13 s ± 27.6 ms per loop

def mp_rolling_quantile(X, window, q):
    pool = mp.Pool(processes=12)
    results = pool.map(partial(pd_rolling_quantile, window=window, q=q), [X[:,i] for i in np.arange(X.shape[1])])
    pool.close()
    pool.join()
    return np.column_stack(results)

Numba: %timeit: 2min 28s ± 182 ms per loop

@nb.njit
def nb_1d(x, window, q):
    out = np.zeros(x.shape[0])
    for i in np.arange(x.shape[0]-window+1)+window:
        out[i-1] = np.quantile(x[i-window:i], q=q)
    return out
def nb_rolling_quantile(X, window, q):
    results = []
    for i in np.arange(X.shape[1]):
        results.append(nb_1d(X[:,i], window, q))
    return np.column_stack(results)

Время не велики, и в идеале я бы нацелился на улучшение скорости в 10-50 раз. Буду признателен за любые предложения, как ускорить его. Может быть, у кого-то есть идеи по использованию языков более низкого уровня (Cython) или других способов ускорить его с помощью методов на основе Numpy / Numba / Tensorflow. Спасибо!