Наименьший размер пакетного задания должен быть в пакете AWS - PullRequest
0 голосов
/ 17 сентября 2018

Скажем, у меня большая вычислительная работа, которую я могу разделить на произвольное количество маленьких кусков / партий. Учитывая, что я могу сделать каждое пакетное задание настолько маленьким или большим, насколько я хочу, какое самое короткое время должно потребоваться для выполнения одного пакета? Вначале я думал, что пакет не должен занимать менее 60 секунд, в случае если экземпляр ec2 выполнит только 1 задание, а затем прекратит работу; счет будет выставлен в течение как минимум 60 секунд согласно документации: Как работает экземпляр EC2 -часовые счета? , но также следует отметить ограничения на саму партию: Пределы обслуживания AWS Batch . Но давайте предположим, что я нахожусь под Пределами обслуживания пакета AWS.

Я также провел несколько экспериментов с моим вариантом использования, меняя размер задания, и обнаружил, что общее время ec2, которое мне нужно, уменьшилось с увеличением размера партии. В общем, я обнаружил, что размер моей партии должен быть таким, чтобы ее выполнение заняло более минуты. Это заняло у меня почти минимальное время экземпляра ec2, необходимое для всей работы. (время ec2 является суммой всего времени, использованного во всех случаях). В настоящее время я думаю сделать это примерно за 1,5 минуты, чтобы, если есть задания, которые выполняются быстрее других, маловероятно, что они когда-либо будут короче 1 минуты.

Мне очень трудно найти лучшие практики в этой области, какие руководящие принципы или лучшие практики люди используют, чтобы выяснить, насколько большой должна быть их пакетная работа?

...