ошибка памяти при вычислении нескольких столбцов в больших данных

Question

Я хочу рассчитать существующий столбец и создать новый столбец.

df = dd.from_pandas(ddf, npartitions=100)

df['new_column'] = df[['column']].apply(lambda dpan_india_df: dpan_india_df['column']*8000, axis = 1, meta=('object'))

Как эффективно использовать память? Для вашей информации, этот файл 800M.

  File "Sectorize3.py", line 55, in <lambda>
    df['new_column'] = df[['column']].apply(lambda ddf: ddf['column']*8000, axis = 1, meta=('object'))
MemoryError: occurred at index 1512070

Answer 1

Вы можете сделать это так.

df['new_column']=df['column']*8000