Распараллелить pandas apply (), разделив фрейм данных и объединяя - PullRequest
0 голосов
/ 28 апреля 2019

Я хочу создать новый столбец из существующего столбца, применяя функцию. Если я пытаюсь использовать dask или многопроцессорную обработку (как предложено здесь ), я часто получаю сообщение «не могу засолить» ошибка .

Скажем, у меня на машине 16 ядер. Поправьте меня, если я ошибаюсь, но не должно ли быть возможным разделить мой фрейм данных на 16 частей, подать заявку на каждый с использованием отдельного ядра и объединить 16 фреймов данных? Есть ли функция, которая делает это? Рассол - неизбежное узкое место?

...