Заполните значения nan в данных испытаний средними значениями из данных поезда в пандах - PullRequest
Новая
       29

Заполните значения nan в данных испытаний средними значениями из данных поезда в пандах

1 голос
/ 23 марта 2019

Я пытаюсь заполнить значения nan из данных испытаний средним значением из данных поезда для нескольких столбцов, основанных или сгруппированных по столбцу. Вот часть данных испытаний:

enter image description here

    date_block_num  shop_id     item_id     item_category_id    target  item_price  avg_item_price  sum_item_cnt_day    avg_item_cnt_day    shop_avg_item_price     ...     avg_item_cnt_day_lag_12     shop_avg_item_price_lag_12  shop_sum_item_cnt_day_lag_12    shop_avg_item_cnt_day_lag_12    category_avg_item_price_lag_12  category_sum_item_cnt_day_lag_12    category_avg_item_cnt_day_lag_12    shop_avg_item_price_per_category_lag_12     shop_sum_item_cnt_per_category_lag_12   shop_avg_item_cnt_per_category_lag_12
0   26.5    5   5037    19.0    0.928571    1788.897788     1934.764286     90.714286   1.937141    868.822366  ...     0.383736    619.341077  181.571429  0.029328    716.813821  779.214286  0.084066    716.052585  10.285714   0.056515
1   NaN     5   5320    NaN     NaN     NaN     NaN     NaN     NaN     NaN     ...     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN
2   30.0    5   5233    19.0    1.428571    854.861715  842.778086  72.428571   1.685456    914.767445  ...     0.000000    597.460870  0.000000    0.000000    591.507516  0.000000    0.000000    591.790514  0.000000    0.000000
3   32.0    5   5232    23.0    0.333333    728.018465  790.297277  47.000000   1.100087    965.966832  ...     0.000000    597.460870  0.000000    0.000000    591.507516  0.000000    0.000000    591.790514  0.000000    0.000000
4   NaN     5   5268    NaN     NaN     NaN     NaN     NaN     NaN     NaN     ...     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN     NaN

5 rows × 102 columns

Итак, я хочу заменить nans средним значением столбца на основе item_id.

first Я знаю, что могу получить среднее значение столбцов данных поезда, сгруппированных по item_id, следующим образом: 

mt = train.groupby('item_id').apply(lambda x: np.mean(x))

Затем Я вижу, что я пытаюсь использовать fillna для каждого столбца в наборе тестов следующим образом: 

for col in test.columns:

    test[col] = test.groupby('item_id')[col].apply(lambda x: x.fillna...)

Я не могу понять, как заменить средние значения из поезда, а не тестировать. Как это сделать? И это лучший или лучший способ? Спасибо.

1 Ответ

1 голос
/ 24 марта 2019

Если ваши train и test данные имеют одинаковую форму (# строк, # столбцов)

Мы можем использовать pandas.DataFrame.combine_first для этого, но не в сочетании с агрегацией, которая происходит в groupby, поскольку combine_first заменяет NaN значениями в той же позиции в другом кадре данных.

Вот почему нам нужно использовать pandas.DataFrame.transform для этого, поскольку он сохраняет shape нашего фрейма данных таким же: 

# make two example dataframes
train = pd.DataFrame({'item_id':[5037, 5320, 5037, 5320],
                      'num1': [10, 8, 9, 5],
                      'num2': [3, 5, 1, 9]})

test = pd.DataFrame({'item_id':[5037, 5320, 5037, 5320],
                     'num1': [6, np.NaN, 3, 7],
                     'num2': [np.NaN, 4, np.NaN, 9]})

print(train, '\n')
print(test)

   item_id  num1  num2
0     5037    10     3
1     5320     8     5
2     5037     9     1
3     5320     5     9 

   item_id  num1  num2
0     5037   6.0   NaN
1     5320   NaN   4.0
2     5037   3.0   NaN
3     5320   7.0   9.0

Мы применяем groupby.transform и combine_first

train_means = train.groupby('item_id').transform('mean')
test.combine_first(train_means)

   item_id  num1  num2
0     5037   6.0   2.0
1     5320   6.5   4.0
2     5037   3.0   2.0
3     5320   7.0   9.0

Если ваш train и test кадр данных НЕ имеют одинаковую форму (# строки, # столбцы) , это становится немного сложнее.

Мы можем сделать следующее:

  1. Мы можем получить среднее значение для каждого item_id и valeus с pandas.groupby.mean
  2. После этого мы pandas.DataFrame.merge получаем средства каждого соответствующего item_id и среднего train кадра данных на наш test кадр данных.
  3. Затем мы определяем имена наших столбцов и условно заполняем наш NaN значениями того же столбца, который взят из нашего набора данных train, к которому применен groupby. И для этого мы используем np.where. 
train_grp = train.groupby('item_id').mean().reset_index()

print(train_grp)
   item_id  num1  num2
0     5037   9.5   2.0
1     5320   6.5   7.0

Применить слияние 

test_merged = test.merge(train_grp, on='item_id', suffixes=['_test', '_train'])

print(test_merged)
   item_id  num1_test  num2_test  num1_train  num2_train
0     5037        6.0        NaN         9.5         2.0
1     5037        3.0        NaN         9.5         2.0
2     5320        NaN        4.0         6.5         7.0
3     5320        7.0        9.0         6.5         7.0

Создать словарь соответствующих столбцов 

test_cols = [col for col in test_merged.columns if 'test' in col]
train_cols = [col for col in test_merged.columns if 'train' in col]
dict_cols =dict(zip(test_cols, train_cols))

print(dict_cols)
{'num1_test': 'num1_train', 'num2_test': 'num2_train'}

Условно заменить Nan

for test, train in dict_cols.items():
    test_merged[test] = np.where(test_merged[test].isnull(), 
                                 test_merged[train], 
                                 test_merged[test])

# Clean up dataframe
test_merged.drop(train_cols, axis=1, inplace=True)
test_merged.columns = test_merged.columns.str.replace('_test', '')

print(test_merged)
   item_id  num1  num2
0     5037   6.0   2.0
1     5037   3.0   2.0
2     5320   6.5   4.0
3     5320   7.0   9.0

Объяснение
np.where работает следующим образом: np.where(condition, value if true, value if false)

...