Я не мог найти этот вопрос где-либо еще раньше.
В настоящее время у меня есть несколько вариантов использования, когда я хочу записать список фреймов данных в CSV каждый. Списки обычно состоят из 200-1500 элементов. Я обнаружил, что после записи нескольких файлов процесс записи сильно замедляется.
Моя текущая реализация:
lapply(write_set,
function(x)
fwrite(x,
paste0("Directory/", x$dataset_id[1], ".csv")))
, где каждый элемент списка составляет ~ 200 строки по 40 столбцов. Выходные файлы также относительно небольшие - ~ 40-50 КБ. Сейчас на запись 1400 таких файлов уходит ~ 20 минут.
Есть ли способ ускорить это?