Облачный хостинг - общее хранилище с прямым доступом - PullRequest
0 голосов
/ 09 сентября 2011

У нас есть приложение, развернутое в AWS с использованием служб EC2 , EBS . Инфраструктура разбита по слоям (независимые экземпляры):

  • приложение (с балансировщиком нагрузки)

  • база данных (стандартная схема ведущий-ведомый)

  • медиасервер (потоковый)

  • фоновая обработка (redis, delayed_job)

Приложение и База данных Экземпляр использует количество блочных устройств хранения EBS (root, data), которые помогают нам присоединять / отсоединять их и делать снимки EBS на S3. Это довольно стандартный способ работы AWS.

Но EBS должен находиться в определенной зоне и может быть присоединен к одному экземпляру только в одно и то же время.

Медиасервер является одним из узких мест, поэтому мы хотели бы масштабировать его с помощью схемы «главный / подчиненный». Поэтому для хранилища медиа-серверов мы хотели бы попробовать, чтобы распределенные файловые системы могли быть подключены к нескольким серверам. Что вы посоветуете?

Ответы [ 2 ]

1 голос
/ 12 сентября 2011

Если вы не Facebook или Amazon, у вас нет реальной причины использовать что-то столь сложное, как Hadoop или Cassandra.Когда вы достигнете этого уровня роста, вы сможете позволить себе инженеров, которые смогут выбрать / спроектировать идеальное решение ваших проблем.

А пока я настоятельно рекомендую GlusterFS для распределенного хранилища.Его чрезвычайно легко установить, настроить, запустить и запустить.Кроме того, если вы в настоящее время транслируете файлы из локального хранилища, вы поймете, что GlusterFS также действует как локальное хранилище, оставаясь доступным для нескольких серверов.Другими словами, никаких изменений в вашем приложении не требуется.

Я не могу сказать вам точные параметры конфигурации для вашего конкретного приложения, но есть много доступных, таких как распределенные, реплицированные, чередующиеся данные.Вы также можете поиграть с настройками кэша, чтобы избежать попадания дисков при каждом запросе и т. Д.

Одна вещь, на которую следует обратить внимание, поскольку GlusterFS находится на уровне выше других уровней хранения (особенно в Amazon), вы можете не получить впечатляющий дискспектакль.На самом деле, это может быть намного хуже, чем у вас сейчас, ради масштабируемости ... в основном вы могли бы лучше проектировать свое приложение для обслуживания потокового мультимедиа из CDN, который уже имеет инфраструктуру, подходящую для вашего типа приложений.Об этом стоит подумать.

0 голосов
/ 09 сентября 2011

HBase / Hadoop

Cassandra

MogileFS

Хороший вопрос (если я правильно понимаю):
Блеск, Gluster или MogileFS ?? для хранения, кодирования и потокового видео

Существует много распределенных файловых систем, просто найдите ту, которая вам нужна.
Вышесказанное является лишь частью, которую я лично знаю (не проверял их).

...