Dask вычисляет (для обнаружения ошибок), но сохраняет результаты на рабочих - PullRequest
0 голосов
/ 30 мая 2020

Я хотел бы определить набор действий и запустить их на рабочих процессах dask и отловить любые ошибки, которые могут возникнуть, без необходимости вызывать compute и передавать результаты клиенту.

Например, если я использую astype (int) для столбца объекта, это должно вызвать ошибку. Когда я использую client.persist, это не возвращает мне ошибку.

column = df['string column'].astype(int)
client.persist(column)

Однако client.compute выдает эту ошибку:

column = df['string column'].astype(int)
client.compute(column)
# ValueError ... Traceback (most recent call last)

Есть ли способ получать ошибки сразу, как при вычислении, но не заставлять Dask возвращать результат клиенту?

1 Ответ

1 голос
/ 12 июня 2020
column = column.persist()
dask.distributd.wait(column)
...