Большие журналы в JSON - обработка и анализ данных - PullRequest
0 голосов
/ 02 марта 2019

Я новичок здесь, и я прошу вашего понимания.Я новичок в области обработки и анализа данных.Я хотел бы попросить о помощи в своей задаче.

У меня есть три набора данных (журналы) в формате json.Каждый из них имеет размер приблизительно 1,5 ГБ и имеет одинаковые атрибуты.

Далее я хотел бы проанализировать данные этих наборов данных вместе (статистику и графики, относящиеся к различным атрибутам).Я также хотел бы позже иметь возможность обнаруживать закономерности, тенденции и отношения в данных.

Как я могу сделать это, чтобы сделать его эффективным?Каковы хорошие практики?Как я могу иметь дело с такими большими данными?Я попробовал библиотеку "панд", но она очень трудоемкая.Я предпочитаю «Python», но я открыт для других решений:)

Я прошу вас о помощи.Это очень важно для меня.

Заранее благодарю за любую помощь.

...