Я пробовал поискать в stackoverflow, а также много гуглить, но не могу найти ответы на мою проблему (наверное, я ищу неправильные ключевые слова / термины).
Мы находимсяв процессе создания механизма рекомендаций, и в то время как мы первоначально регистрируем всю пользовательскую активность в пользовательских журналах (мы используем ruby / rails), нам необходимо выполнить EOD-сканирование этого файла и организовать его в соответствии с пользователем.У нас также есть некоторые другие пользовательские данные, поступающие из некоторых других мест (его активность fb, временная шкала в твиттере и т. Д.), И, следовательно, по EOD мы хотим, чтобы все данные для определенного пользователя были сохранены где-то, а затем запустили наш код анализатора на всехпользовательские данные для генерации рекомендаций.
Проблема в том, что мы генерируем много данных, и пока мы используем таблицу mysql для хранения всех этих данных, мы не уверены, до какой степениМы можем продолжать делать это по мере роста нашей пользовательской базы (мы все еще проводим внутреннее тестирование с 10 активными пользователями).Кроме того, как энергичные разработчики, мы хотели бы попробовать что-то новое, что может удовлетворить наши потребности.
Любые указатели в этом направлении будут очень полезны.