Мне нужно запустить функцию fl.func, которая возвращает DataFrame;Я должен запустить его дважды (с разными аргументами).
Если я запускаю их сериализованно,
df1 = tl.func()
df2 = tl.func(False)
, это занимает около 100 секунд.
Однако, если я запустил его с dask.delayed(), для запуска следующих строк потребуется 140 секунд.
d1 = delayed(tl.func)()
d2 = delayed(tl.func)(False)
dfa, dfb = compute(d1, d2)
Как это исправить?
Некоторая дополнительная информация:
- Оба
dfa и dfb являются ожидаемыми фреймами данных - Функция
tl.func() не распараллелена внутри.
То, что яделать неправильно