Есть ли альтернативы Pandas Merge, которые работают со средними наборами данных? - PullRequest
0 голосов
/ 27 сентября 2018

У меня есть два набора данных CSV с 57 МБ (387427L, 22C) и 32 МБ (569400L, 9C), и я загрузил их в кадры данных Pandas.

p = pd.read_csv('Dataset/p_data.csv')
w = pd.read_csv('Dataset/w_data.csv')

Когда я пытался выполнить MERGEУ меня "Ошибка памяти".Мой компьютер имеет память Intel i5 и 8 ГБ, и я использую Conda с Python 3.6.

g = p.merge(w, on=['X_ID']) 

Я искал несколько решений, таких как использование Dask и обходной путь с Sqlite, но они дают мне то же самоепроблема.У Стрелки нет функции MERGE.

Может ли кто-нибудь помочь мне?

1 Ответ

0 голосов
/ 27 сентября 2018

Пожалуйста, попробуйте это:

g = p.merge(w, on=['X_ID'], how = 'outer')

Это сработало для меня.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...