Оцените стоимость AWS на основе файла конфигурации для CfnCluster - PullRequest
Новая
       30

Оцените стоимость AWS на основе файла конфигурации для CfnCluster

0 голосов
/ 26 февраля 2019

Я пытаюсь получить отзывы от людей, использующих AWS, относительно того, можем ли мы получить приблизительную оценку для кластера HPC, настроенного на AWS, следующим образом: 

[aws]
aws_region_name = us-east-2

[cluster default]
key_name = xxxx
vpc_settings = vpc-xxxxx
compute_instance_type = c4.8xlarge
master_instance_type = c4.large
initial_queue_size = 4
max_queue_size = 20
maintain_initial_size = true
scheduler = sge
cluster_type = spot
spot_price = 1.60
placement_group = DYNAMIC
master_root_volume_size = 20
base_os = ubuntu1404
ebs_settings = custom

[ebs custom]
volume_type = io1
volume_iops = 2000
volume_size = 2000
encrypted = true

[vpc vpc-xxx]
vpc_id = vpc-xxx
master_subnet_id = subnet-xxxx

[global]
cluster_template = default
update_check = true
sanity_check = true

[aliases]
ssh = ssh {CFN_USER}@{MASTER_IP} {ARGS}

В зависимости от продолжительности выполнения заданий.в кластере, как вы думаете, можно ли примерно получить представление о том, сколько это будет стоить на AWS?Здесь многое связано с затратами EC2, затратами на хранение и т. Д.

Учитывая, что это будут точечные экземпляры (вычисления), а не по требованию, как мы можем получить оценку

Спасибо за вашеидеи

Ответы [ 2 ]

0 голосов
/ 27 февраля 2019

Вы можете оценить свои расходы, используя калькуляторы AWS.У них есть две версии:

  • Более новый https://calculator.aws/: Я еще не использовал его, но он выглядит довольно хорошо, а также очень хорошо ориентируется (как учебник).

  • Старшее https://calculator.s3.amazonaws.com/index.html: куда вы просто помещаете свои значения и получаете обратную связь.

Я бы также порекомендовал вам перейти сстарая c4 семья к новой c5.Они лучше машин и дешевле.Эквивалентом c4.8x является c5.9x.

Недостатком калькулятора является то, что кажется, что он не включает оценку точечных машин.Для этого вы можете делать математику, как предлагает Томас.

0 голосов
/ 27 февраля 2019

Прежде всего, у меня для вас хорошие новости.Цена на большие экземпляры по требованию c4.8x в настоящее время составляет $ 1.591 в час в вашем регионе.Это также самая высокая цена, которую вы можете заплатить за большой спотовый экземпляр c4.8x.Кроме того, CfnCluster по умолчанию использует текущую спотовую рыночную цену, поэтому просто удалите эту строку из вашего файла конфигурации.

Что касается вашего фактического вопроса: это сложно.
Конечно, вы можете легко рассчитатьмаксимальная цена.Ваш вычислительный экземпляр будет стоить вам максимум 20 * 1.591 = 31.82 $ в час.Однако реальная цена будет намного меньше.Используя спотовые экземпляры, вы можете легко ожидать, что цена будет вдвое меньше, чем вы заплатили бы за экземпляры по требованию.Кроме того, ваш кластер, вероятно, не всегда будет работать на полную мощность.

Вы можете проверить текущие спотовые цены на https://aws.amazon.com/ec2/spot/pricing/.

Ваш общий объем EBS будет стоить около 1000 * 0,125 = 125 $ в месяц , как можно увидеть на https://aws.amazon.com/ebs/pricing/

Подводя итог, вы, вероятно, должны предположить, что вы платите от 20 до 40% от цены по требованию за ваши спотовые экземпляры, в зависимости от того, насколько консервативныВы хотите оценить свои расходы.Исходя из этого, вы можете оценить, сколько вы будете платить за определенное количество часов использования кластера.Конечно, вам также необходимо оценить, сколько узлов будет работать в среднем.В вашей текущей конфигурации это будет варьироваться от 4 до 20.

...