Итак, перед нами стоит задача проектирования, у нас есть абсолютно чистый план для разработки системы, которая представляет результаты обработки различных каналов социальных сетей, таких как Twitter и Facebook, в Интернете и через API-сервис, такой как REST. Часть обработки уже завершена, но теперь нам нужно где-то хранить результаты.
Формат результата выглядит примерно так: идентификатор сообщения, дата сообщения, обработанная метка времени, а затем набор различных показателей обработки. В этой базе данных будет около 200 миллионов сообщений. Поэтому первое, что нам нужно, - это что-то для хранения этих данных Мы думаем, что базу данных документов NoSQL было бы интересно попробовать, учитывая, что мы должны иметь возможность выбирать диапазон дат, который дисконтирует базы данных в стиле семейства столбцов (поскольку я считаю, что сканирование диапазона ключей в HBase выполняется медленно). Или лучшим вариантом может быть просто сохранить эти данные в старом добром MySQL или VoltDB. У кого-нибудь есть примеры использования или истории их внедрения такой системы?
Следующим шагом будет разработка веб-приложения. Нам нужен сервис графиков, который может принимать данные в режиме реального времени и обновлять интерфейс. Мы думаем об использовании HighCharts для этой цели. Есть что-нибудь лучше?
Наконец, нам нужен какой-то API-сервис, который может работать как приложение коммета и передавать данные, что-то вроде потокового API Twitter. Я думал, что лучшим вариантом для этого будет node.js.
Так что, я полагаю, вопрос в том, какие технологии мы выбрали лучше всего для этой работы, есть ли хорошие примеры использования и есть ли что-нибудь, что можно было бы порекомендовать?
Ура!