Проблема с обработкой большого набора данных - CodeIgniter- MySQL -MongoDB - PullRequest
0 голосов
/ 20 марта 2020

Я строю систему мониторинга сайта. Я использую Codeigniter и MySQL для хранения обобщенных c данных, таких как Organisation_data, аутентификация (имя пользователя + пароль), роли пользователей и т. Д. c.

Я должен записать ответ веб-сайта в таблицу, для этого, когда я погуглил, я понял, что будет лучше, если мы используем No SQL для хранения данных журнала (подумал об использовании MongoDB).

В моей системе мониторинга пользователь может добавить несколько организаций, и у каждой организации будут URL-адреса веб-сайтов и частота для проверки связи с набором сайтов.

Скажем, если пользователь устанавливает частоту 15 минут для одного сайта, тогда будет 96 вставок в день / сайт. Если в одной организации 100 сайтов, это число увеличится до 9600 вкладок в день (96 * 100 вкладок). Если будет 100 организаций, это увеличится до 960000 вставок (9600 * 100 вставок). Это будет близко к 1 миллиону строк в день и скажу, что я должен управлять данными за 12 месяцев, я не думаю, что Mysql будет подходящим для управления этим. Вот почему я подумал, что для хранения данных журнала я использую № SQL.

Кроме того, я должен учитывать, что на панели инструментов моего приложения мне нужно составить простой график:

  • ответ веб-сайта в зависимости от времени (выборка данных за последние 24 часа),
  • ответ веб-сайта против даты (выборка данных за последнюю неделю),
  • ответ веб-сайта против месяца (выборка данных за последний месяц) и
  • выборка пользовательских данных между двумя датами (пользователь может выбрать дата начала и дата окончания макс. 1 год).

Правильно ли использовать подход CodeIgniter / MySQL / MongoDB? или есть лучшая техника?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...