Странное предупреждение с использованием dask.dataframe для чтения csv - PullRequest
Новая
       27

Странное предупреждение с использованием dask.dataframe для чтения csv

0 голосов
/ 19 марта 2020

Я использую модуль dask dataframe для чтения csv. 

In [3]: from dask import dataframe as dd                                                                               

In [4]: dd.read_csv("/file.csv", sep=",", dtype=str, encoding="utf-8", error_bad_lines=False, collection=True, blocksize=64e6)

Я привык к этому без проблем, но сегодня появилось странное предупреждение: 

   FutureWarning: The default value of auto_mkdir=True has been deprecated and will be changed to auto_mkdir=False by default in a future release.
      FutureWarning,

Это не меня не волновало, пока я не понял, что это нарушает мои модульные тесты, потому что при использовании этого из консоли это просто предупреждение, но из-за этого тесты, установленные для моего приложения, сломались.

Кто-нибудь знает причину об этом предупреждении или как от него избавиться?

1 Ответ

0 голосов
/ 17 апреля 2020

Автоответ на документацию:

  • Эта проблема появляется в fsspec == 0.6.3 и dask == 2.12.0 и будет удалена в будущем.
  • Чтобы предотвратить сбой pytest из-за предупреждения, добавьте или отредактируйте файл pytest.ini в своем проекте и установите 
filterwarnings =
    error
    ignore::UserWarning
  • Если вы хотите, чтобы dask отключил предупреждение вообще, явным образом установите это в вызове функции storage_options=dict("auto_mkdir"=True)
...