Подстановка значений в pandas DataFrame в зависимости от значения другого столбца

Question

Я работаю с набором данных, который состоит из нескольких различных переменных. Для каждой из этих переменных набор данных также содержит переменную «кодирования». Это своего рода категориальная переменная, которая содержит дополнительную информацию о переменной, на которую она ссылается, при условии, что есть какая-либо дополнительная информация об этой переменной.

Например:

data = { year: [2000, 2001, 2000, 2001],
         observation: ['A', 'A', 'B', 'B'],
         height: [1, 2, 3, 4],
         height_code: ['S', 'BF', 'BF', 'S'] }

df = pd.DataFrame(data)

В этом примере , если переменная кодирования принимает значение «BF» означает босиком. То есть человек не носил ничего на ногах, когда измеряли его рост. Напротив, 'S' обозначает обувь.

Теперь мне нужно определить, у каких людей был измерен их рост при ношении обуви, и либо: (1) - преобразовать их высоту в np.nan, чтобы они не включены в расчет средней высоты по годам позже в процессе. ИЛИ (2) - сгенерировать альтернативный DataFrame, в котором люди, измеренные во время ношения обуви, исключаются из этого нового DF. Затем мне нужно вычислить среднюю высоту по году и добавить ее к еще одному DF.

Чтобы прояснить ситуацию: это обобщенный пример. Мой набор данных содержит несколько различных переменных, и каждая переменная может иметь код, который необходимо учитывать, или его нельзя кодировать (в этом случае мне не нужно интересоваться значением этого наблюдения). Следовательно, реальная проблема заключается в том, что у меня могут быть наблюдения (строки), содержащие, скажем, 4 переменные, и 2 из них закодированы (так что их значения должны игнорироваться в последующих вычислениях), тогда как другие 2 не закодированы (и должны учитываться) , Таким образом, я не могу полностью отказаться от наблюдения, но должен изменить значения в 2 кодированных переменных, чтобы игнорировать их в вычислениях. (Предположим, я должен вычислить среднее значение по годам для каждой из переменных независимо)

ЧТО Я ПОПРОБОВАЛ:

Я написал эти две функциональные версии одного и того же понятия. Вторая функция должна быть передана в DataFrame с помощью .apply (). Тем не менее, это должно быть применено по крайней мере 4 раза (один раз для каждой пары target_variable / code_variable, я называю здесь переменные кодирования test_col) ...

# sub_val / sub_value -
# This function goes through each row in a pandas DataFrame and each time/iteration the 
# function will [1] check one of the columns (the "test_col") against a specific value 
# (maybe passed in as an argument, maybe default null value). [2] If the check returns 
# True, then the function will replace the value of another column (the "target_col") 
# in the same row for np.nan . [3] If the check returns False, the fuction will skip to
# the next row.

# - This version is inefficient because it creates one Series object for every
#   row in the DataFrame when iterating through it.
def sub_val(df, target_col, test_col, test_val) :

    # iterate through DataFrame's rows - returns lab (row index) and row (row values as Series obj)
    for lab, row in df.iterrows() : 

        # if observation contains combined data code, ignore variable value
        if row[test_col] == test_val :
            df.loc[lab, target_col] = np.nan # Sub current variable value by NaN (NaN won't count in yearly agg value)

    return df

# - This version is more efficient.
#   Parameters:
#   [1] obs - DataFrame's row (observation) as Series object
#   [2] col - Two strings representing the target and test columns' names
#   [3] test_val - The value to be compared to the value in test_col
def sub_value(obs, target_col, test_col, test_val) :

    # Check value in the column being tested.
    if obs[test_col] == test_val :
        # If condition holds, it means target_col contains a so-called "combined" value
        # and should be ignored in the calculation of the variable by year.
        obs[target_col] = np.nan # Substitute value in target column for NaN
    else :
        # If condition does not hold, we can assign NaN value to the column being tested
        # (i.e. the combined data code column) in order to make sure its value isn't 
        # some undiserable value.
        obs[test_col] = np.nan

    return obs # Returns the modified row

Answer 1

ИЛИ (2) - сгенерировать альтернативный фрейм данных, в котором люди, измеренные в обуви, выбрасываются из этого нового DF. Затем мне нужно вычислить среднюю высоту по году и добавить ее к еще одному DF.

Slicing и pandas .DataFrame.groupby будут вашими друзьями здесь:

import pandas as pd

data = dict(
    year = [2000, 2001, 2000, 2001, 2001],
    observation = ['A', 'A', 'B', 'B', 'C'],
    height = [1, 2, 3, 4, 1],
    height_code = ['S', 'BF', 'BF', 'S', 'BF'],
)

df = pd.DataFrame(data)

df_barefoot = df[df['height_code'] == 'BF']
print(df_barefoot)

mean_barefoot_height_by_year = df_barefoot.groupby('year').mean()
print(mean_barefoot_height_by_year)

пример в python tutor

РЕДАКТИРОВАТЬ: Вы также можете пропустить все создание второй df_barefoot и просто groupby 'year' и 'height_code':

import pandas as pd

df = pd.DataFrame(dict(
    year = [2000, 2001, 2000, 2001, 2001],
    observation = ['A', 'A', 'B', 'B', 'C'],
    height = [1, 2, 3, 4, 1],
    height_code = ['S', 'BF', 'BF', 'S', 'BF'],
))

mean_height_by_year_and_code = df.groupby(['year','height_code']).mean()
print(mean_height_by_year_and_code)

Пример 2 в Python Репетитор

Answer 2

Я не проверял вашу актуальную проблему, а только написал решение для примера.

# Separating the data
df = pd.DataFrame(data)
df_bare_foot = df[df["height_code"] == "BF"]
df_shoe = df[df["height_code"] == "S"]

# Calculating Mean separately for 2 different group
mean_df_bf = (
    df_bare_foot
    .groupby(["year"])
    .agg({"height": "mean"})
    .reset_index()
    # that a new way to add a new column when doing other operation
    # equivalant to df["height_code"] = "BF"
    .assign(height_code="BF")
    .rename(columns={"height": "mean_height"})
)

# The mean for shoes category
# we can keep the height_code in group by as
# it is not going to affect the group by
mean_df_sh = (
    df_shoe
    .groupby(["year", "height_code"])
    .agg({"height": "mean"})
    .reset_index()
    .rename(columns={"height": "mean_height"})
)

Answer 3

Вы хотите среднее значение для категории наблюдения? Тогда, возможно, что-то вроде:

import pandas as pd
data = {'year': [2000, 2001, 2000, 2001, 2001, 2001],
        'observation': ['A', 'A', 'B', 'B', 'C', 'C'],
        'height': [1, 2, 3, 4, 5, 7],
        'height_code': ['S', 'BF', 'BF', 'S', 'BF', 'BF'] }
df = pd.DataFrame(data)
after = df[df.height_code != 'S'].groupby(['year', 'observation']).mean()

---

                  height
year observation        
2000 B                 3
2001 A                 2
     C                 6

---

Просто используйте: after = df[df.height_code != 'S'].groupby('year').mean(), если наблюдение не имеет значения, и вы хотите получить среднее значение за год для всех наблюдений.