Потеря записей при записи в CSV с использованием R

Question

У меня более 27 миллионов записей данных, которые я пытаюсь записать в формате .csv.
Тем не менее, я теряю все записи, кроме 1.1M, когда я запускаю свой код. Как я могу записать все 27M записей в .csv формате без потери данных?

write.csv(DT, "file.csv")

Я ожидаю, что все данные в формате .csv будут загружены в схему куста, но опять-таки я вижу только 1,1 млн записей в моей схеме после запуска моего процесса. Любые решения?

Answer 1

Ударяется ли оно в 1,1 млн записей или 1,080,000? Я бы попробовал использовать fwrite вместо: https://www.rdocumentation.org/packages/data.table/versions/1.12.2/topics/fwrite

См. Большой CSV-файл не может полностью прочитать R data.frame