Я работаю над довольно сложным приложением, использующим Dask Framework, и пытаюсь повысить производительность. С этой целью я смотрю на панель диагностики. У меня есть два варианта использования. Во-первых, у меня есть паркетный файл размером 1 ГБ, разделенный на 50 частей, а во втором случае у меня есть первая часть вышеуказанного файла, разделенная на 5 частей, что используется для следующих диаграмм:
Красный узел называется «память: список», и я не понимаю, что это такое. Когда выполняется больший ввод, это, кажется, блокирует всю операцию.
Наконец, это то, что я вижу, когда захожу внутрь этих узлов:
Я не уверен, с чего мне начать, чтобы понять, что генерирует этот memory:list узел, особенно учитывая, что внутри задачи нет кнопки стека, какэто часто случается. Есть предложения?