Установка времени ожидания с помощью атрибута класса кажется разумной, но вы используете клиент, который общается с работниками в других процессах / машинах.Поэтому вам необходимо установить атрибут на копиях класса на каждом работнике, чтобы ваш метод вступил в силу.
Возможно, лучше было бы установить размер блока, используемый read_csv
(64MBпо умолчанию) на меньшее число.Я предполагаю, что вы находитесь в более медленной сети, и именно поэтому вы получаете тайм-ауты.Если вам нужны числа менее 5 МБ, размер чтения по умолчанию в s3fs, то вы также должны передать default_block_size
среди storage_options
, переданных read_csv
Обратите внимание, наконец, что и s3fs, и dask допускают повторные попыткина ошибки подключения или общие ошибки задачи.Этого может быть достаточно, чтобы помочь вам в том случае, если вы получите его только на случайное отставание.