Какой тип рабочих нагрузок будет подходящим для использования в Amazon EC2 Spot Instances?

Question

Amazon только что объявил " точечные экземпляры " для своей инфраструктуры на базе EC2. Мне было интересно, какие рабочие нагрузки будут подходить для такой службы?

Спотовые инстансы позволяют делать ставки за неиспользованная емкость Amazon EC2. Инстансы взимается спотовая цена, установленная Amazon EC2, который колеблется периодически в зависимости от поставки и спрос на точечный экземпляр емкость.

Интересная цитата :

Философия JIT проста: инвентарь - это отходы.

---

РЕДАКТИРОВАНИЕ:

Интересно, существуют ли приложения, которые могли бы поддерживать себя (читай: быть жизнеспособными), просто используя большой объем этих экземпляров Spot. Подумайте об этом: представьте, что вы получаете 10 экземпляров по цене 1 в среднем ... конечно, не будет никаких гарантий, но в случае, если нет доступных экземпляров Spot, может быть исключено несколько "нормальных" экземпляров. .

Answer 1

Очевидно, что это для любой рабочей нагрузки, которая не должна быть в реальном времени.

Скажем, в меньшем масштабе, как это может применяться к stackoverflow? Например, многие значки на этом сайте не рассчитываются в режиме реального времени. Существует периодический процесс, который оценивает соответствие требованиям, и не имеет значения, будет ли он работать в 4 утра или 4 вечера каждый день, пока он работает. Делать это в 4 утра может быть на 5 центов дешевле. (очевидно, для этого они вообще не используют EC2)

Чем больше масштаб? Поисковой системе для большого набора данных может потребоваться огромная вычислительная мощность для построения своих индексов. Если вы индексируете новые данные один раз в день, а для их индексации на сотнях серверов требуется 2 часа, вы можете сделать это за одну ночь и сэкономить, возможно, тысячи долларов каждый день.

Благодаря круглосуточному распределению рабочей нагрузки Amazon помогает максимизировать использование своих ресурсов и, следовательно, предоставлять самые дешевые цены на рынке.

Answer 2

Я рассматриваю возможность создания гибкого кластера (скажем, HADOOP) с магистралью, которая работает на регулярных экземплярах, и несколькими наборами дополнительных экземпляров по снижающимся спотовым ценам. Когда цена падает, дополнительные экземпляры становятся доступными для обработки рабочих единиц. Если цена увеличится, узлы будут закрыты. Кластер обрабатывает это путем повторной выдачи рабочих единиц другим узлам, как в случае сбоя узла.

Очевидно, что это довольно враждебная среда, поэтому необходимо внести некоторые коррективы. Если вы работаете со стандартной 3-кратной репликацией для глобальной файловой системы и три узла, содержащие блок, одновременно закрываются, вы проигрываете. Распространение спотовых цен снижает вероятность потери многих одним махом. Увеличение коэффициента репликации уменьшит влияние, и дисковое пространство в любом случае свободно с экземпляром, так что это не будет фактором. Этого достаточно? Посмотрим.

Answer 3

Amazon мог думать только о следующих рабочих нагрузках:

• Обработка изображений и видео, преобразование и рендеринг
• Обработка данных научных исследований
• Финансовое моделирование и анализ

Точечные экземпляры напоминают мне о «счетчиках электроэнергии с двойным тарифом», где вы платите меньше за энергию, когда спрос меньше. Я думаю, что это очень интересная концепция и довольно неожиданное введение в облако, но, вероятно, ее будет трудно применить к обычным бизнес-задачам.

Answer 4

Существуют очевидные варианты использования, такие как пакетная обработка или задачи, которые не должны выполняться 24/7.

Другие интересные реализации для дополнительной емкости. Вы можете использовать сочетание экземпляра по требованию и выборочного экземпляра для запуска вашего сайта. Экземпляры по требованию будут служить вашим «ядром». Если ваши спотовые экземпляры не работают в течение нескольких часов здесь или там, ваш экземпляр по запросу может работать немного тяжелее, но ваш веб-сайт все еще будет доступен.