Масштаб в пределах уровня pandas мультииндекс

Question

Я пытаюсь классифицировать последовательности LSTM на основе отклонения последнего значения во временном ряду от предыдущих значений в этом же временном ряду. Данные хранятся в мультииндексе Pandas с индексами: user_id, date и 8 функциями для каждой комбинации пользователя и даты.

Что я хотел бы сделать, так это применить масштабатор scikit-learn (например, RobustScaler) в контексте каждой серии, а не во всей данной функции.

Например, используя фрейм данных из , этот вопрос .

import pandas as pd
import numpy as np

#For repeatability
np.random.seed(0)

#The index's
arrays = [
    np.array([
        "Day1", "Day1", "Day1", "Day1", "Day1", 
        "Day2", "Day2", "Day2", "Day2", "Day2",
        "Day3", "Day3", "Day3", "Day3", "Day3"
    ]),
    np.array([
        "a", "b", "c", "d", "e", 
        "a", "b", "c", "d", "e", 
        "a", "b", "c", "d", "e"
    ])
]

#Create the sample dataframe 
df = pd.DataFrame(np.random.randn(15, 4), index=arrays, columns=["100", "200", "300", "400"])

#Output the dataframe
print(df) #End of code

"""
             100       200       300       400
Day1 a  1.764052  0.400157  0.978738  2.240893
     b  1.867558 -0.977278  0.950088 -0.151357
     c -0.103219  0.410599  0.144044  1.454274
     d  0.761038  0.121675  0.443863  0.333674
     e  1.494079 -0.205158  0.313068 -0.854096
Day2 a -2.552990  0.653619  0.864436 -0.742165
     b  2.269755 -1.454366  0.045759 -0.187184
     c  1.532779  1.469359  0.154947  0.378163
     d -0.887786 -1.980796 -0.347912  0.156349
     e  1.230291  1.202380 -0.387327 -0.302303
Day3 a -1.048553 -1.420018 -1.706270  1.950775
     b -0.509652 -0.438074 -1.252795  0.777490
     c -1.613898 -0.212740 -0.895467  0.386902
     d -0.510805 -1.180632 -0.028182  0.428332
     e  0.066517  0.302472 -0.634322 -0.362741
"""

Я бы хотел все значения для объекта «100» в День 1 масштабируются относительно друг друга, но без учета значений для объекта «100» в День 2 и без учета значений для объекта «200» в День1.

Подход, предложенный в связанном вопросе, заключается в использовании df.apply для создания масштабированной копии исходного кадра данных, но это очень медленно для большого количества записей. Существует ли векторизованный подход к масштабированию в пределах определенного уровня индекса?

Моя конечная цель - получить массив 3D numpy из кадра данных формы: (день, буква, объекты), поэтому решения, которые проходят через numpy, хороши. Я попробовал некоторые подходы из этого вопроса , но мне кажется, что я что-то неправильно понимаю, поскольку результаты, хотя и гораздо быстрее, не соответствуют (медленным) результатам метода df.apply.