Технологии для эффективной работы с «большими данными» (чтение, запись, запрос, агрегирование) - PullRequest
3 голосов
/ 21 июня 2011

Создание функции панели аналитики концептуальной аналитики для веб-приложения, позволяющей пользователям просматривать, кто посещал их профиль, и просматривать опубликованный контент. Подумайте о приборной панели в стиле .me.

В настоящее время запись точек данных (субъект, глагол, объект, формат кортежа отметки времени) в таблицу MySQL (которая быстро приближается к миллиону записей), когда пользователи выполняют соответствующие действия в приложении. Эта запись не синхронизирована с использованием механизма cURL + cron job + очереди сообщений.

Не уверен, как поступить с фактическим сопоставлением, агрегированием и представлением этих данных на аналитической панели управления таким образом, чтобы не связывать слишком много ресурсов на моем сервере.

В поисках советов, военных историй и технологий, которые упростят мою жизнь с этим материалом.

1 Ответ

1 голос
/ 21 июня 2011

Почему бы просто не начать с select запросов и посмотреть, как они выполняются?
Если и когда вы столкнетесь с медлительностью, вы всегда можете:

  • Настройте свои запросы, используйте таблицы памяти, проявите творческий подход с помощью триггеров, таблиц чёрных дыр и еще много чего.
  • Установите подчиненный сервер и выберите из подчиненного.
  • Установите мастер черной дыры и подключите к нему несколько рабов

Я рекомендую вам прочитать Высокопроизводительный MySQL: http://oreilly.com/catalog/9780596003067

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...