У меня есть эта функция, которая выполняет запрос, а затем сохраняет результаты в заданном каталоге.Каждый результат сохраняет запрос за данный месяц.Каждый запрос занимает примерно 7 минут для запуска, загрузки и сохранения файла.Я использую fwrite для data.table, чтобы сохранить файл .csv.
Чтобы ускорить этот процесс, я решил использовать doParallel и foreach, чтобы запустить этот процесс параллельно.Я открываю 20 рабочих (из 40 доступных ядер) для выполнения этого запроса, но после некоторых циклов загрузки я обнаружил, что некоторые файлы не были правильно сохранены (файлы размером 0 байт), а некоторые другие были сохранены правильно (полный файлразмер около 500 мб).
Если я решу запустить этот процесс с помощью простого цикла for, у меня не возникнет никаких ошибок, но выполнение этого параллельно приведет к ненадежному поведению.