Dask с использованием большого количества системных процессоров - PullRequest
Новая
       13

Dask с использованием большого количества системных процессоров

0 голосов
/ 11 июля 2019

Я запускаю процесс Python на Dask на моем Mac, используя dask_dataframe.map_partitions.Процессор системы превышает 70%, а общее время работы медленнее, чем ожидалось.Есть ли что-то конкретное для этого? 

Processes: 516 total, 4 running, 4 stuck, 508 sleeping, 4051 threads                                                                            17:01:05
Load Avg: 8.96, 8.63, 8.87  CPU usage: 24.29% user, 71.74% sys, 3.96% idle   SharedLibs: 183M resident, 49M data, 30M linkedit.
MemRegions: 280712 total, 7256M resident, 122M private, 2408M shared. PhysMem: 15G used (3646M wired), 1216M unused.
VM: 3934G vsize, 1298M framework vsize, 337943173(128) swapins, 424866150(0) swapouts. Networks: packets: 54072553/576G in, 52411813/575G out.
Disks: 13274682/1405G read, 10823134/1690G written.
PID    COMMAND      %CPU      TIME     #TH    #WQ   #PORT MEM    PURG   CMPRS  PGRP  PPID  STATE    BOOSTS           %CPU_ME %CPU_OTHRS UID  FAULTS
13116  python3.7    955.1     02:01.53 90/17  1     124   721M-  0B     0B     5984  5984  running  *0[1]            0.00000 0.00000    504  1624296+

Я не вижу никаких других процессов, использующих много ЦП, кроме процесса python

Если я запускаю тот же код не в Dask Iя не вижу высокой загрузки ЦП sys, поэтому мне интересно, что может делать система при запуске Dask.

1 Ответ

0 голосов
/ 11 июля 2019

Python может занять много памяти, если он определяет переменные снова и снова.Это также может занять много времени, если в вашей программе есть вложенные циклы.может в этом проблема?

...