У меня есть огромный фрейм данных dask с 100 разделами, который читает файл 100 json из gcs:
dd = dd.read_json('gs://dask_xxxxx/2018-04-18/data-*.json')
, затем я использую to_parquet("x.parq"):
dd.to_parquet('x.parq')
Я получил следующую ошибку:
ChunkedEncodingError: ('Соединение разорвано: OSError ("(54, \' ECONNRESET \ ')",)', OSError ("(54, 'ECONNRESET')",))