R - импорт 2 ГБ файла JSON - PullRequest
Новая
       11

R - импорт 2 ГБ файла JSON

0 голосов
/ 24 февраля 2019

Я хотел бы импортировать 2 ГБ JSON-файл в качестве кадра данных или записать в CSV.

Я пытался RJSONIO::fromJSON("review.json"), но он возвращает эту ошибку: 

Error in paste(readLines(content), collapse = "\n") : 
result would exceed 2^31-1 bytes

Итак, я пытался readr::read_lines_raw("review.json") и каждая строка читалась как: 

[1000] "{\"review_id\":\"VcBo0OZVwTmMh278aakFUg\",\"user_id\":\"PV0Rp_Qh1YCIP0192e4ewg\",\"business_id\":\"G7sVtpD6aqpuUB4F3LEG_w\", \"stars\":4.0,\"useful\":0,\"funny\":0,\"cool\":0,\"text\":\"Excellente place que vous passiez juste prendre un bon thé ou café ou que vous vouliez vous asseoir et manger un brownie décadent ou un grill cheese aux oignons caramélisés. Le personnel est sympathique, pas stressé et ne met pas de pression pour consommer. Les enfants sont les très bienvenus et ont de quoi s occuper!!\",\"date\":\"2015-07-03 19:01:30\"}"

Вероятно, некоторые строки превышали максимальную длину строки символов в R, поэтому я получил эту ошибку.

Я пыталсяметод stream_in, но он прерывается на полпути при потоковой передаче данных.

Есть ли способ импортировать этот файл без того, чтобы каждая строка была целой строкой?Или совершенно альтернативный метод использования fromJSON()?

1 Ответ

0 голосов
/ 24 февраля 2019

Мне не хватает 'rep', чтобы комментировать, но я подумал, что вы можете попробовать это: 

library(jsonlite)

my.jsonFile<-'review.json'

x<-jsonlite::fromJSON(my.jsonFile,flatten=TRUE)

y<-lapply(rapply(x, enquote, how="unlist"), eval)
...