Может ли Amazon Auto Scaling Service работать с Elastic Map Reduce Service?

Question

, так как веб-сервису Amazon нужно платить, так что просто спросите ppl, кто работал над ним, прежде чем я прыгну в него, и подтвердите некоторые знания об этом.

Вопрос первый: В сервисе автоматического масштабирования Amazon говорится, что можно увеличивать и уменьшать количество экземпляров. что это значит?

означает ли это изменение типа экземпляра? или можно запускать / останавливать более / менее экземпляры базы на основе определения условия?

Вопрос второй: может ли механизм автоматического масштабирования работать с картой?

например, если у меня экстремальный случай, у меня будут бесконечные задачи, и время выполнения задачи будет различным, и может потребовать очень много вычислений. так я могу использовать сервис автоматического масштабирования, чтобы уменьшить масштаб карты?

Спасибо

Answer 1

Вы можете взглянуть на Themis , систему автоматического масштабирования EMR, разработанную в Atlassian. Текущие функции включают реактивное автоматическое масштабирование (в зависимости от текущей нагрузки на кластер), а также упреждающее автоматическое масштабирование (в соответствии с предварительно определенным расписанием), он поставляется с веб-интерфейсом пользователя, а инструмент очень прост в настройке.

(Извиняюсь за публикацию в старой теме, но ответ может быть интересен читателям, открывающим эту тему.)

Answer 2

повторно.первый вопрос: «увеличивать и уменьшать» означает, что они могут добавлять больше экземпляров по мере необходимости, а количество экземпляров может быть уменьшено (то есть экземпляры виртуальных машин могут быть отключены), когда они больше не нужны.

повторно.второй вопрос: я бы сказал, что автоматическое масштабирование не имеет смысла для сокращения карт, по крайней мере, если вы думаете о Hadoop: одна из основных идей Map / Reduce & Hadoop заключается в том, что данные разбиты на множествоУзлы и узлы могут затем обрабатывать данные, которые близко к ним - в идеале на локальном диске или, по крайней мере, на другой машине в непосредственной (физической) близости.Конечно, было бы возможно запустить новый экземпляр, но это имеет смысл только в том случае, если вам не нужно копировать данные, которые вы хотите обработать, в новый экземпляр.Надеюсь, что это объяснение имеет смысл для вас ... В любом случае, обратите внимание на предложение Amazon Elastic Map Reduce , которое делает то, что вы хотите, по крайней мере, если я правильно понял ваш вопрос.