Как преобразовать выходные данные readLines в информационный блок - PullRequest
Новая
       25

Как преобразовать выходные данные readLines в информационный блок

0 голосов
/ 10 марта 2019

Я пытаюсь использовать readLines для импорта 17,6 ГБ CSV-файла в R. Я попробовал несколько подходов, которые обсуждались здесь , здесь , здесь и в других местах и ​​readLines представляется единственным подходом, который, по крайней мере, эффективно может доставить данные в R.

Проблема в том, что я не могу преобразовать выходные данные из readLines во фрейм данных, который я могу использовать в своем анализе. Ответы на связанный вопрос здесь не помогают мне решить мою проблему.

Вот мои примерные данные: 

write.csv(data.frame(myid=1:10,var=runif(10)),"temp.csv")

dt<-data.frame(myid=1:10,var=runif(10))
dt

myid       var
1     1 0.5949020
2     2 0.8515591
3     3 0.8139010
4     4 0.3804234
5     5 0.4923082
6     6 0.9933775
7     7 0.1740895
8     8 0.8342808
9     9 0.3958154
10   10 0.9690561

создание фрагментов: 

file_i <- file("temp.csv","r")
chunk_size <- 100000 # choose the best size for you
x<- readLines(file_in, n=chunk_size)

Открытие вывода из readLines в R: 

View(x)
x
 [1] "\"\",\"myid\",\"var\""      
 [2] "\"1\",1,0.594902001088485"  
 [3] "\"2\",2,0.851559089729562"  
 [4] "\"3\",3,0.81390100880526"   
 [5] "\"4\",4,0.380423351423815"  
 [6] "\"5\",5,0.492308202432469"  
 [7] "\"6\",6,0.993377464590594"  
 [8] "\"7\",7,0.174089450156316"  
 [9] "\"8\",8,0.834280799608678"  
[10] "\"9\",9,0.395815373631194"  
[11] "\"10\",10,0.969056134112179"

Заранее спасибо за любую помощь

Ответы [ 2 ]

1 голос
/ 10 марта 2019

Вот полная последовательность инструкций для преобразования данных, которые вы разместили в кадре данных. 

set.seed(1234)    # Make the results reproducible

write.csv(data.frame(myid=1:10,var=runif(10)),"temp.csv")

dat <- readLines("temp.csv")
df1 <- strsplit(dat[-1], ",")
df1 <- do.call(rbind, df1)
df1 <- df1[,-1]
df1 <- as.data.frame(df1)
df1[] <- lapply(df1, function(x) as.numeric(as.character(x)))

names(df1) <- gsub('"', '', strsplit(dat[1], ',')[[1]][-1], fixed = TRUE)
df1
0 голосов
/ 10 марта 2019

Учитывая вывод, который вы получаете после readLines, это должно быть содержимое вашего CSV-файла: 

"","myid","var"
"1","1","0.5949020"
"2","2","0.8515591"
"3","3","0.8139010"
"4","4","0.3804234"
"5","5","0.4923082"
"6","6","0.9933775"
"7","7","0.1740895"
"8","8","0.8342808"
"9","9","0.3958154"
"10","10","0.9690561"

То есть ваши значения разделены запятыми и заключены в двойные кавычки . Когда я читаю в этом файле, я получаю ваш вывод: 

dat
 [1] "\"\",\"myid\",\"var\""       "\"1\",\"1\",\"0.5949020\""  
 [3] "\"2\",\"2\",\"0.8515591\""   "\"3\",\"3\",\"0.8139010\""  
 [5] "\"4\",\"4\",\"0.3804234\""   "\"5\",\"5\",\"0.4923082\""  
 [7] "\"6\",\"6\",\"0.9933775\""   "\"7\",\"7\",\"0.1740895\""  
 [9] "\"8\",\"8\",\"0.8342808\""   "\"9\",\"9\",\"0.3958154\""  
[11] "\"10\",\"10\",\"0.9690561\""

Итак, что вам нужно сделать, это

  • разделить запятыми
    с unlist(strsplit(..., split = ",")

и

  • заменить экранированные двойные кавычки
    с gsub("\"", "", ...)

, что дает нам: 

unlist(strsplit(gsub("\"", "", dat), split = ","))

 [1] ""          "myid"      "var"       "1"         "1"         "0.5949020" "2"        
 [8] "2"         "0.8515591" "3"         "3"         "0.8139010" "4"         "4"        
[15] "0.3804234" "5"         "5"         "0.4923082" "6"         "6"         "0.9933775"
[22] "7"         "7"         "0.1740895" "8"         "8"         "0.8342808" "9"        
[29] "9"         "0.3958154" "10"        "10"        "0.9690561"
...