Когда я запускаю это на Windows в ноутбуке Jupyter
with Pool() as p:
df['ima_redirect'] = p.map(ima_redirect, df[' html'].values)
Он использует около 20 ГБ ОЗУ, и все в порядке. Его даже нет внутри
if __name__ == "__main__":
И он работает на Windows 10.
Но когда я запускаю его на Linux в ноутбуке Jupyter, он занимает всю мою оперативную память (48 ГБ ) и ядро I python вылетает. На Linux я попытался поместить его внутрь
if __name__ == "__main__"
, но он забирает всю мою оперативную память и вылетает.
Что я могу сделать? Я должен продолжать делать это на Linux Я не могу go вернуться к Windows.
Я заметил, что процессы, порожденные с использованием Process Pool на Linux, все запускаются как
python -m ipykernel_launcher ...
но я не помню, что они были ipykernel_launchers на Windows.