Мониторинг пропускной способности подсети - PullRequest
Новая
       45

Мониторинг пропускной способности подсети

0 голосов
/ 27 октября 2019

У меня есть пакетное задание в одном EMR (кластер Spark), которое выполняет массовую вставку в другой EMR (кластер HBase). Оба EMR расположены в одной частной подсети.

Как я могу контролировать пропускную способность между двумя EMR? AFAIK они не используют NAT Gateay, верно? Могу ли я иметь показатели только для передачи данных EMR в EMR, если в той же подсети работает какой-то другой персонал? Предположим, что другие задания Spark выполняют сильные перетасовки.

PS Действительно ли AWS предоставляет вам ~ 10 гигабит/ сек пропускная способность между экземплярами EC2 в одном и том же AZ? Распределяется ли эта пропускная способность между всеми экземплярами в одной подсети?

1 Ответ

1 голос
/ 28 октября 2019

  • Во-первых, нет способа отслеживать трафик для подсетей, сетевая статистика, такая как количество байтов (в том числе пакетов), входящих или исходящих, публикуется в cloudwatch для каждого уровня экземпляра.

  • Если вам нужно на уровне кластера, вы можете логически сгруппировать экземпляр на основе его типа кластера и агрегировать соответствующие показатели и иметь пользовательские статистические данные для каждого кластера, не поддерживаемые из коробки. *

  • Да для экземпляров с частным IP в одном и том же VPC не требуется NAT для связи между ними.

  • Пропускная способность сети зависит от типа экземпляра, новеедля таких типов, как c5, заявлена ​​скорость 100 Гбит / с, для тяжелых операций ввода-вывода, таких как EMR, рекомендуются экземпляры с высокой пропускной способностью сети.

(https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/enhanced-networking.html)

...