Python - Группировка по> выборке из каждой группы - PullRequest
0 голосов
/ 24 марта 2020

У меня есть DataFrame с более чем 40 000 строк, где определенный столбец обозначает членство в группе. Есть восемь групп. Я хотел бы иметь меньший DataFrame, где я выбираю число x из каждой группы.

allthedata.groupby("groupvariable", group_keys=False).apply(lambda group_df: group_df.sample(100, random_state=784)) 

С приведенным выше кодом я выбираю 100 случаев для каждой группы. Тем не менее, я хотел бы взять 10 из группы 1, 40 из группы 2, 10 из группы 3 и т.д. c. Это не относится к общему размеру группы.

Есть ли какой-нибудь способ, которым я могу указать количество выборки для каждой группы?

Спасибо!

Ответы [ 2 ]

1 голос
/ 24 марта 2020

Подумайте, в этом случае для l oop необходимо:

groups = ["groupvariable", "groupvariable2", "groupvariable3" ...]
sample_sizes = [100, 40, 10, ...]

# initialise list of dataframes samples to concatenate     
samples = []

for group, sample_size in zip(groups, sample_sizes):

       samples.append(allthedata.groupby(group, group_keys=False).sample(sample_size, random_state=784)) 

# concatenate all samples into unique data frame 
final_df = pd.concat(samples)
0 голосов
/ 25 марта 2020

Я решил проблему, благодаря Эдоардо Герриеро и небольшим изменениям:

groups = [1,2,3,4,5,6,7,8]

sample_sizes = [1, 30, 70, 1, 5, 40, 20, 70]

samples = []

for group, sample_size in zip(groups, sample_sizes):

        samples.append(allthedata.groupby("groupingvar").get_group(group).sample(sample_size, random_state=4465))

# concatenate all samples into unique data frame 

finaldf = pd.concat(samples)
...