Таблица различий между наблюдаемым и ожидаемым количеством - PullRequest
Новая
       11

Таблица различий между наблюдаемым и ожидаемым количеством

2 голосов
/ 11 октября 2019

У меня есть данные, где я моделирую двоичную зависимую переменную. Есть 5 других категориальных переменных-предикторов, и у меня есть критерий хи-квадрат для независимости для каждой из них, по сравнению с зависимой переменной. Все придумали очень низкие значения р.

Теперь я хотел бы создать диаграмму, которая отображает все различия между наблюдаемым и ожидаемым значениями. Кажется, что это должно быть частью функции scipy chi2_contingency, но я не могу понять это.

Единственное, о чем я могу думать, это то, что функция chi2_contingency выведет массив ожидаемых подсчетов, так что я думаю,Мне нужно выяснить, как преобразовать мою таблицу кросс-таблиц наблюдаемых значений в массив, а затем вычесть их. 

  ## Gender & Income:  cross-tabulation table and chi-square

  ct_sex_income=pd.crosstab(adult_df.sex, adult_df.income, margins=True)
  ct_sex_income

  ## Run Chi-Square test

  scipy.stats.chi2_contingency(ct_sex_income)

  ## try to subtract them

  ct_sex_income.observed - chi2_contingency(ct_sex_income)[4]

Ошибка, которую я получаю: «AttributeError: у объекта DataFrame нет атрибута« наблюдаемый »"

Я бы хотел массив, который показывает различия.

TIA для любой помощи

1 Ответ

1 голос
/ 11 октября 2019

Я не знаю ваших данных и понятия не имею, как определяется ваша наблюдаемая функция. Я не мог понять вашего намерения, возможно, что-то о прогнозировании доходов людей на основе их семейного положения.

Я публикую здесь одно из возможных решений вашей проблемы. 

        import pandas as pd
        import numpy as np
        import scipy.stats as stats
        from scipy.stats import chi2_contingency

        # some bogus data
        data = [['single','30k-35k'],['divorced','40k-45k'],['married','25k-30k'],
                ['single','25k-30k'],['married','40k-45k'],['divorced','40k-35k'],
                ['single','30k-35k'],['married','30k-35k'],['divorced','30k-35k'],
                ['single','30k-35k'],['married','40k-45k'],['divorced','25k-30k'],
                ['single','40k-45k'],['married','30k-35k'],['divorced','30k-35k'],
                ]

        adult_df = pd.DataFrame(data,columns=['marital','income'])

        X = adult_df['marital'] #variable
        Y = adult_df['income']  #prediction

        dfObserved = pd.crosstab(Y,X) 

        results = []

        #Chi-Statistic, P-Value, Degrees of Freedom and the expected frequencies
        results =  stats.chi2_contingency(dfObserved.values)
        chi2  = results[0] 
        pv    = results[1]
        free  = results[2]
        efreq = results[3]

        dfExpected = pd.DataFrame(efreq, columns=dfObserved.columns, index = dfObserved.index)

        print(dfExpected)
        """
        marital  divorced   married    single
        income                               
        25k-30k  1.000000  1.000000  1.000000
        30k-35k  2.333333  2.333333  2.333333
        40k-35k  0.333333  0.333333  0.333333
        40k-45k  1.333333  1.333333  1.333333
        """

        print(dfObserved)
        """ 
        marital  divorced  married  single
        income                            
        25k-30k         1        1       1
        30k-35k         2        2       3
        40k-35k         1        0       0
        40k-45k         1        2       1
        """

        difference = dfObserved - dfExpected
        print(difference)
        """"
        marital  divorced   married    single
        income                               
        25k-30k  0.000000  0.000000  0.000000
        30k-35k -0.333333 -0.333333  0.666667
        40k-35k  0.666667 -0.333333 -0.333333
        40k-45k -0.333333  0.666667 -0.333333
        """

Надеюсь, это поможет

...