Выбор пользовательского столбца в словаре Pandas DataFrame.Groupby.Agg

Question

У меня проблема с выбором столбцов, которые нужно вставить в Pandas.DataFrame.Groupby.agg.

Вот код для получения и подготовки данных.

# Data Collecting and library import
from pandas_datareader import data
import pandas as pd

symbol = 'AAPL'
source = 'yahoo'
start_date = '2018-01-01'
end_date = '2019-04-24'
stock = data.DataReader(symbol, source, start_date, end_date)

new_range = pd.date_range(start="2018-1-1", end="2019-12-30")
stock = stock.reindex(new_range).fillna(method='ffill').fillna(method='bfill')
stock['Day'] = stock.index.weekday_name
stock['Month'] = stock.index.month_name()
stock['Size'] = stock['High'].apply(lambda x: 'Big' if x>175 else 'Small')
stock['Other Size'] = stock['Low'].apply(lambda x: 'Big' if x>175 else 'Small')
stock.round(2)
stock.head(10)

, что привело к

То, что я до сих пор делал, это

stock.groupby(['Day', 'Month']).agg(
    {
        'High' : [min, 'mean', max],
        'Low' : [min, 'mean', max],
        'Open' : 'mean',
        'Size' : lambda x: x.value_counts().index[0],
        # Other_non_numeric : lambda x: x.value_counts().index[1],
        # Other_columns : 'mean'
    }
).round(2)

, что приводит к

Вопрос:

1. Как включить другие нечисловые столбцы

2. Как включить другие неопределенные столбцы в словарь и установить метод как «среднее»

Answer 1

1) Чтобы определить, является ли столбец числовым, вы можете использовать pandas.api.types.is_numeric_dtype

2) Чтобы найти оставшиеся столбцы, вы можете использовать set(df.columns) минус столбцы, которые вы использовалив groupby и в тех, у которых есть определенные функции agg, например,

from pandas.api.types import is_numeric_dtype

fields_groupby = ['Day', 'Month']
fields_specific = {
    'High': [min, 'mean', max],
    'Low': [min, 'mean', max],
    'Open': 'mean',
    'Size': lambda x: x.value_counts().index[0],
}
fields_other = set(set(stock.columns) - set(fields_groupby) - set(fields_specific))
fields_agg_remaining = {col: 'mean' if is_numeric_dtype(stock[col]) else lambda x: x.value_counts().index[1] for col in fields_other}

после этого, объедините набор fields_specific и fields_agg_remaining в список полей agg

agg_fields = fields_agg_remaining
agg_fields.update(fields_specific)
stock.groupby(['Day', 'Month']).agg(agg_fields).round(2)

РЕДАКТИРОВАТЬ: Вы можете объединить все, чтобы поместить их в аргумент словаря, например:

stock.groupby(['Day', 'Month']).agg(
    {col:
         [min, 'mean', max] if col in ['High', 'Low'] else
         'mean' if col in ['Open'] else
         lambda x: x.value_counts().index[0] if col in ['Size'] else
         'mean' if is_numeric_dtype(stock[col]) else
         lambda x: x.value_counts().index[1] for col in set(set(stock.columns) - {'Day', 'Month'})}
).round(2)