Amazon SQS направляет записи в базу данных

Question

Итак, предположим, что я собираю netflix, и я хочу регистрировать каждое представление по идентификатору пользователя и идентификатору фильма

так что это как viewID, userID, timestamp,

однако для масштабирования, предположим, получалось 1000 просмотров в секунду (просто для сумасшествия). Имеет ли смысл ставить эти представления в очередь в SQS, и тогда наши читатели очереди могут снять очередь по очереди и записать ее в базу данных mysql. Таким образом, база данных не перегружена запросами на запись.

Похоже, это будет работать?

Answer 1

Фейсал

Это разумная архитектура; однако вы должны знать, что запись в SQS будет во много раз медленнее, чем запись в что-то вроде очереди сообщений RabbitMQ (или любой другой локальной).

Как говорится, начинать с SQS было бы неплохо, поскольку его легко использовать и отлаживать.

Кроме того, вы можете исследовать MongoDB для регистрации ... проверьте следующие ссылки:

MongoDB - это фантастика для ведения журнала

http://blog.mongodb.org/post/172254834/mongodb-is-fantastic-for-logging

Закрытые коллекции

http://blog.mongodb.org/post/116405435/capped-collections

Использование MongoDB для аналитики в реальном времени

http://blog.mongodb.org/post/171353301/using-mongodb-for-real-time-analytics