Question

Вопрос

Почему сортировка с использованием pd.Series.sort_index не работает при использовании категориального индекса? Как можно отсортировать индекс многоиндексной pd.Series, используя другой порядок сортировки, кроме алфавитного / числового?

MWE

Код установки

import pandas as pd 
import numpy as np

d = {
    'Card': [
        'Visa', 'Visa', 'Master Card', 'Master Card', 'Visa', 'Master Card',
        'Visa', 'Visa', 'Master Card', 'Visa', 'Master Card', 'Visa', 'Visa',
        'Master Card', 'Master Card', 'Visa', 'Master Card', 'Visa', 'Visa',
        'Master Card', 'Visa', 'Master Card', 'Master Card', 'Master Card',
        'Master Card', 'Master Card', 'Master Card', 'Visa', 'Visa'
    ],
    'Year': [
        'Three', 'Three', 'Seven', 'Three', 'Three', 'Seven', 'Seven', 'Seven',
        'Three', 'Seven', 'Three', 'Three', 'Three', 'Seven', 'Three', 'Three',
        'Seven', 'Seven', 'Seven', 'Three', 'Seven', 'Three', 'Five', 'One',
        'One', 'Two', 'Four', 'Six', 'Six'
    ],
    'Value': [
        45, 13, 52, 321, 31, 1231, 876, 231, 4, 213, 123, 45, 321, 1, 123, 52,
        736, 35, 900, 301, 374, 9, 294, 337, 4465, 321, 755, 22, 8
    ]
}

df = pd.DataFrame(d)
grp_cols = ['Card', 'Year']
ser_val = df.groupby(grp_cols)['Value'].mean()

Простое простое использование sort_index, данные выглядят так:

In [2]: ser_val.sort_index()
Out[2]:
Card         Year
Master Card  Five      294.000000
             Four      755.000000
             One      2401.000000
             Seven     505.000000
             Three     146.833333
             Two       321.000000
Visa         Seven     438.166667
             Six        15.000000
             Three      84.500000
Name: Value, dtype: float64

видно, что столбцы отсортированы по алфавиту . Теперь я хочу сделать заказ. Для этого я снова пробую:

categories_order = ['One', 'Two', 'Three', 'Four', 'Five', 'Six', 'Seven']
categories = pd.Categorical(ser_val.index.levels[1].values,
                            categories=categories_order,
                            ordered=True)
ser_val.index.set_levels(categories, level='Year', inplace=True)

, после сортировки данные выглядят так (опять же, в алфавитном порядке)

In [3]: ser_val.sort_index()
Out[3]:
Card         Year
Master Card  Five      294.000000
             Four      755.000000
             One      2401.000000
             Seven     505.000000
             Three     146.833333
             Two       321.000000
Visa         Seven     438.166667
             Six        15.000000
             Three      84.500000
Name: Value, dtype: float64

Я знаю, что если я конвертирую данные в pandas .DataFrame и отсортируйте там, это работает, например:

df_val = ser_val.reset_index().sort_values(grp_cols)
df_val['Year'] = pd.Categorical(df_val['Year'].values,
                                categories_order,
                                ordered=True)
df_val = df_val.sort_values(grp_cols).set_index(grp_cols)


In [5]: df_val
Out[5]:
                         Value
Card        Year
Master Card One    2401.000000
            Two     321.000000
            Three   146.833333
            Four    755.000000
            Five    294.000000
            Seven   505.000000
Visa        Three    84.500000
            Six      15.000000
            Seven   438.166667

Почему pd.Series не сортирует с категориальными данными?

Я использую pandas 1,0,5 дюйма Python 3,7,3 64-бит

Scott Boston · Answer 1 · 18 июля 2020

На самом деле, я думаю, вы нашли пару ошибок!

Ошибка №1 - Изменение dtype с помощью set_levels с помощью pd.Categorical не работает.

import pandas as pd 
import numpy as np

d = {
    'Card': [
        'Visa', 'Visa', 'Master Card', 'Master Card', 'Visa', 'Master Card',
        'Visa', 'Visa', 'Master Card', 'Visa', 'Master Card', 'Visa', 'Visa',
        'Master Card', 'Master Card', 'Visa', 'Master Card', 'Visa', 'Visa',
        'Master Card', 'Visa', 'Master Card', 'Master Card', 'Master Card',
        'Master Card', 'Master Card', 'Master Card', 'Visa', 'Visa'
    ],
    'Year': [
        'Three', 'Three', 'Seven', 'Three', 'Three', 'Seven', 'Seven', 'Seven',
        'Three', 'Seven', 'Three', 'Three', 'Three', 'Seven', 'Three', 'Three',
        'Seven', 'Seven', 'Seven', 'Three', 'Seven', 'Three', 'Five', 'One',
        'One', 'Two', 'Four', 'Six', 'Six'
    ],
    'Value': [
        45, 13, 52, 321, 31, 1231, 876, 231, 4, 213, 123, 45, 321, 1, 123, 52,
        736, 35, 900, 301, 374, 9, 294, 337, 4465, 321, 755, 22, 8
    ]
}

df = pd.DataFrame(d)
grp_cols = ['Card', 'Year']
ser_val = df.groupby(grp_cols)['Value'].mean()

#---------------------------------------------
#Attempt 1st
categories_order = ['One', 'Two', 'Three', 'Four', 'Five', 'Six', 'Seven']
categories = pd.Categorical(ser_val.index.levels[1].values,
                            categories=categories_order,
                            ordered=True)
ser_val.index.set_levels(categories, level=1, inplace=True)
print(ser_val.index.levels[1].dtype)

#--------------------------------------------
#Attempt 2nd
categories_order = ['One', 'Two', 'Three', 'Four', 'Five', 'Six', 'Seven']
categories = pd.Categorical(ser_val.index.levels[1].values,
                            categories=categories_order,
                            ordered=True)
ser_val.index = ser_val.index.set_levels(categories, level='Year')
print(ser_val.index.levels[1].dtype)

#----------------------------------
#Attempt 3rd and success
categories_order = ['One', 'Two', 'Three', 'Four', 'Five', 'Six', 'Seven']
categoriesDtype = pd.CategoricalDtype(categories_order, ordered=True)
ser_val.index = ser_val.index.set_levels(ser_val.index.levels[1].astype(categoriesDtype), level='Year')
print(ser_val.index.levels[1].dtype)

Вывод:

object  *FAILED change type using inplace*
object  *FAILED change type using reassignment*
category  *SUCCESS change type using pd.CategoricalDtype*

Ошибка №2 - sort_index с использованием категориального для MultiIndex уровня 1 не работает

Это может быть найдено уже здесь как открытая проблема # 24271

После успешного изменения типа для уровня индекса 1:

 ser_val.index.levels[1]

Вывод:

CategoricalIndex(['Five', 'Four', 'One', 'Seven', 'Six', 'Three', 'Two'], categories=['One', 'Two', 'Three', 'Four', 'Five', 'Six', 'Seven'], ordered=True, name='Year', dtype='category')

Теперь давайте отсортируем фрейм данных с помощью sort_index:

ser_val.sort_index()

Вывод (НЕИСПРАВНОСТЬ):

Card         Year 
Master Card  Five      294.000000
             Four      755.000000
             One      2401.000000
             Seven     505.000000
             Three     146.833333
             Two       321.000000
Visa         Seven     438.166667
             Six        15.000000
             Three      84.500000
Name: Value, dtype: float64

Теперь, просто для удовольствия и тестирования, давайте поменяем уровни индекса и попробуем снова sort_index.

ser_val.swaplevel(0,1).sort_index()

Вывод (УСПЕХ):

Year   Card       
One    Master Card    2401.000000
Two    Master Card     321.000000
Three  Master Card     146.833333
       Visa             84.500000
Four   Master Card     755.000000
Five   Master Card     294.000000
Six    Visa             15.000000
Seven  Master Card     505.000000
       Visa            438.166667
Name: Value, dtype: float64

Однако, если мы явно установили уровни сортировки ... снова FAIL.

ser_val.swaplevel(0,1).sort_index(level=[0,1])

Вывод:

Year   Card       
Five   Master Card     294.000000
Four   Master Card     755.000000
One    Master Card    2401.000000
Seven  Master Card     505.000000
       Visa            438.166667
Six    Visa             15.000000
Three  Master Card     146.833333
       Visa             84.500000
Two    Master Card     321.000000
Name: Value, dtype: float64

Tom · Answer 2 · 17 июля 2020

TL; DR: Вам нужно установить sort=False в groupby, и вам нужно изменить Categorical на CategoricalIndex. Вот полный рабочий пример:

df = pd.DataFrame(d)
grp_cols = ['Card', 'Year']
ser_val = df.groupby(grp_cols, sort=False)['Value'].mean()

categories_order = ['One', 'Two', 'Three', 'Four', 'Five', 'Six', 'Seven']
categories = pd.CategoricalIndex(ser_val.index.levels[1].values,
                                 categories=categories_order,
                                 ordered=True)
ser_val.index.set_levels(categories, level='Year', inplace=True)
ser_val.sort_index(inplace=True)

И ser_val теперь:

Card         Year 
Master Card  One      2401.000000
             Two       321.000000
             Three     146.833333
             Four      755.000000
             Five      294.000000
             Seven     505.000000
Visa         Three      84.500000
             Six        15.000000
             Seven     438.166667
Name: Value, dtype: float64

Более длинные блуждания: Вы спрашиваете почему то, что вы сделали, не работает, что я, конечно, не могу объяснить (я уверен, что это требует некоторого поиска в источнике), но вот как я пришел к своему решению.

Посмотрите, как работает следующий пример, создавая игрушечную серию MultiIndex с нуля:

lets = ['a','b','c']*3
ids = ['MALE']*4 + ['FEMALE']*5
s = pd.Series(range(9), index=[ids,lets])

categories_order = ['b','a','c']
categories = pd.CategoricalIndex(s.index.levels[1].values,
                                 categories=categories_order,
                                 ordered=True)
s.index.set_levels(categories, level=1,inplace=True)
s.sort_index(inplace=True)

s сортируется так, как мы хотим:

FEMALE  b    4
        b    7
        a    6
        c    5
        c    8
MALE    b    1
        a    0
        a    3
        c    2
dtype: int64

Единственное существенное различие между вашим примером и моим (которое я могу сказать) состоит в том, что ваш начинается с groupby. Существует параметр sort для groupby:

sort : bool, default True Клавиши группы сортировки. Получите лучшую производительность, отключив это. Обратите внимание, это не влияет на порядок наблюдений в каждой группе. Groupby сохраняет порядок строк в каждой группе.

Таким образом, похоже, что сортировка groupby обеспечивает некоторый порядок, который не отменяется вашим новым категориальным порядком.

Но все еще с sort=False, ваш код не работает. Просто через поиск в Google я обнаружил, что существуют отдельные классы для Categorical и CategoricalIndex, и, видимо, последний - это то, что вам здесь нужно. И, конечно же, мой пример также потерпит неудачу, если использовать Categorical вместо CategoricalIndex.

Так что проблема groupby кажется более любопытной; Опять же, основные правила здесь я не могу вам сказать, но, возможно, кто-нибудь сможет уточнить.

Сортировка многоиндексных pd.Series с использованием pd.Categorical?

Вопрос

MWE

Код установки

Пожалуйста, войдите или зарегистрируйтесь чтобы ответить на этот вопрос.

Ответы [ 2 ]

На самом деле, я думаю, вы нашли пару ошибок!

Ошибка №1 - Изменение dtype с помощью set_levels с помощью pd.Categorical не работает.

Ошибка №2 - sort_index с использованием категориального для MultiIndex уровня 1 не работает

Это может быть найдено уже здесь как открытая проблема # 24271

Пожалуйста, войдите или зарегистрируйтесь что бы добавить комментарий.

Пожалуйста, войдите или зарегистрируйтесь что бы добавить комментарий.

Сортировка многоиндексных pd.Series с использованием pd.Categorical?

Вопрос

MWE

Код установки

Пожалуйста, войдите или зарегистрируйтесь чтобы ответить на этот вопрос.

Ответы [ 2 ]

На самом деле, я думаю, вы нашли пару ошибок!

Ошибка №1 - Изменение dtype с помощью set_levels с помощью pd.Categorical не работает.

Ошибка №2 - sort_index с использованием категориального для MultiIndex уровня 1 не работает

Это может быть найдено уже здесь как открытая проблема # 24271

Пожалуйста, войдите или зарегистрируйтесь что бы добавить комментарий.

Пожалуйста, войдите или зарегистрируйтесь что бы добавить комментарий.

Нет похожих вопросов