Лучший способ разбора огромных (10GB +) JSON файлов

Question

Я хотел бы знать, что является лучшим инструментом, IDE, языком программирования для анализа данных, хранящихся в виде файла json.

Я пытаюсь pandas в python и ff в R и оба из них либо cra sh из-за проблем с памятью, либо процесс занимает слишком много времени. У вас есть опыт работы с ними? специально ff?

Есть ли хорошая альтернатива им?

Answer 1

Вы можете попробовать go json потоковый декодер .

Считать файл как поток, а затем прочитать токен по токену, вы можете решить, что делать с каждый токен:

f, err := os.Open("data.json")
if err != nil {
    log.Fatal(err)
}
defer f.Close()

dec := json.NewDecoder(f)
while dec.More() {
    // dec.Token()
}

Это должно занимать очень мало памяти.