Мы пытаемся добавить постоянство в наше приложение.
Приложение генерирует около 250 записей в секунду . Каждая из этих записей принадлежит одному из файлов 2M. Для каждого файла мы хотим сохранить последние 10 записей, чтобы их можно было найти позже.
Как работает наше клиентское приложение:
- получает поток всех данных
- извлекает нужный файл (GET)
- добавляет новый контент
- сохраняет файл обратно (PUT)
Мы ищем эффективный способ хранения этих данных, который может масштабироваться горизонтально , поскольку объем данных, которые мы получаем, удваивается каждые несколько недель.
Мы изначально смотрели на S3. Он отлично работает, но очень быстро становится очень дорогим (> 1000 долларов в месяц только на операциях PUT!)
Затем мы дали выстрел в Riak . Но, похоже, мы не можем получить более 60 записей в секунду на каждом узле, что очень и очень медленно.
Есть еще какое-нибудь решение?