Невозможно найти корреляцию между двумя столбцами разных наборов данных панд - PullRequest
Новая
       8

Невозможно найти корреляцию между двумя столбцами разных наборов данных панд

0 голосов
/ 07 декабря 2018

У меня есть набор данных, который в основном представляет собой список списков 

data = [[(datetime.datetime(2018, 12, 6, 10, 0), Decimal('7.0000000000000000')), (datetime.datetime(2018, 12, 6, 11, 0), Decimal('2.0000000000000000')), (datetime.datetime(2018, 12, 6, 12, 0), Decimal('43.6666666666666667')), (datetime.datetime(2018, 12, 6, 14, 0), Decimal('8.0000000000000000')), (datetime.datetime(2018, 12, 7, 9, 0), Decimal('12.0000000000000000')), (datetime.datetime(2018, 12, 7, 10, 0), Decimal('2.0000000000000000')), (datetime.datetime(2018, 12, 7, 11, 0), Decimal('2.0000000000000000')), (datetime.datetime(2018, 12, 7, 17, 0), Decimal('2.0000000000000000'))], [(datetime.datetime(2018, 12, 6, 10, 0), 28.5), (datetime.datetime(2018, 12, 6, 11, 0), 12.75), (datetime.datetime(2018, 12, 6, 12, 0), 12.15), (datetime.datetime(2018, 12, 6, 14, 0), 12.75), (datetime.datetime(2018, 12, 7, 9, 0), 12.75), (datetime.datetime(2018, 12, 7, 10, 0), 12.75), (datetime.datetime(2018, 12, 7, 11, 0), 12.75), (datetime.datetime(2018, 12, 7, 17, 0), 12.75)]]

В основном он содержит два списка, каждый из которых содержит столбцы date и metric.Мне нужно извлечь значения столбцов метрик для каждого списка и найти взаимосвязь между ними.

Примечание: даты похожи в каждом списке

Итак, сначала я загружаю каждый изсписок в панды и установить индекс даты. 

data1 = data[0]
data2 = data[1]

df1 = pd.DataFrame(data1)
df1[0] = pd.to_datetime(df1[0], errors='coerce')
df1.set_index(0, inplace=True)

df2 = pd.DataFrame(data2)
df2[0] = pd.to_datetime(df2[0], errors='coerce')
df2.set_index(0, inplace=True)

Теперь я объединяю два фрейма данных (оба они имеют одинаковые даты). 

df = pd.merge(df1,df2, how='inner', left_index=True, right_index=True)

Теперь мой фрейм данных выглядит примерно такthis 

                                     1_x    1_y
0                                              
2018-12-06 10:00:00   7.0000000000000000  28.50
2018-12-06 11:00:00   2.0000000000000000  12.75
2018-12-06 12:00:00  43.6666666666666667  12.15
2018-12-06 14:00:00   8.0000000000000000  12.75
2018-12-07 09:00:00  12.0000000000000000  12.75
2018-12-07 10:00:00   2.0000000000000000  12.75
2018-12-07 11:00:00   2.0000000000000000  12.75
2018-12-07 17:00:00   2.0000000000000000  12.75

Теперь мне нужно найти корреляцию между двумя столбцами 1_x и 1_y.Итак, я сделал это 

df.iloc[:,0].corr(df.iloc[:,1])

Но я получаю следующую ошибку 

Traceback (most recent call last):
  File "/home/souvik/Music/UI_Server2/test61.py", line 71, in <module>
    print(df.iloc[:,0].corr(df.iloc[:,1]))
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/pandas/core/series.py", line 1911, in corr
    min_periods=min_periods)
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/pandas/core/nanops.py", line 77, in _f
    return f(*args, **kwargs)
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/pandas/core/nanops.py", line 762, in nancorr
    return f(a, b)
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/pandas/core/nanops.py", line 770, in _pearson
    return np.corrcoef(a, b)[0, 1]
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/numpy/lib/function_base.py", line 2392, in corrcoef
    c = cov(x, y, rowvar)
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/numpy/lib/function_base.py", line 2302, in cov
    avg, w_sum = average(X, axis=1, weights=w, returned=True)
  File "/home/souvik/django_test/webdev/lib/python3.5/site-packages/numpy/lib/function_base.py", line 391, in average
    if scl.shape != avg.shape:
AttributeError: 'float' object has no attribute 'shape'

Я не уверен, что происходит.Примеры, которые я видел в сети, используют df['A].corr(df['B']) для получения корреляции между A и B.Так что я делаю не так?

1 Ответ

0 голосов
/ 07 декабря 2018

Ваш столбец 1_x имеет dtype=object, что можно увидеть здесь: 

df.info()
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 8 entries, 2018-12-06 10:00:00 to 2018-12-07 17:00:00
Data columns (total 2 columns):
1_x    8 non-null object
1_y    8 non-null float64
dtypes: float64(1), object(1)
memory usage: 512.0+ bytes

Так что конвертируйте ваш столбец 1_x в float.

Использование: 

df['1_x'] = df['1_x'].astype(float)
df.iloc[:,0].corr(df.iloc[:,1])
# -0.11679873531647807
...