запись небольшого dataframe в csv создает огромный файл - PullRequest
Новая
       22

запись небольшого dataframe в csv создает огромный файл

0 голосов
/ 25 апреля 2018

Я пытаюсь записать фрейм данных T_df в файл csv, однако размер сохраненного файла "TFile.csv" увеличивается примерно до 50 ГБ на сервере Microsoft Azure / R.Кто-нибудь испытывал что-то подобное и может посоветовать, пожалуйста?

Пример: 

write.csv(T_df,"TFile.csv")

создает файл размером 50 ГБ, тогда как датафрейм не такой большой 

object.size(T_df)
2449776 bytes

str(T_df)
'data.frame':   101994 obs. of  3 variables:

1 Ответ

0 голосов
/ 25 апреля 2018

Не знаю, есть ли что-то особенное в ваших конкретных данных, но я не вижу этого при запуске Microsoft R Server версии 9.3.0. 

> T_df <- data.frame(a = runif(101994), b = runif(101994), c = runif(101994))
> object.size(T_df)
2448752 bytes
> str(T_df)
'data.frame':   101994 obs. of  3 variables:
 $ a: num  0.248 0.504 0.197 0.634 0.407 ...
 $ b: num  0.226 0.686 0.556 0.629 0.412 ...
 $ c: num  0.959 0.122 0.214 0.666 0.23 ...
 > 
 > write.csv(T_df,"TFile.csv")

TFile.csv составляет 6,1 М

...