Решение для увеличения емкости моего главного узла EMR без выключения кластера - PullRequest
0 голосов
/ 20 января 2020

Мой главный узел EMR переполнен, и мне нужно присоединить к нему некоторый объем ESB, есть ли способ сделать это без остановки кластера?

Ответы [ 2 ]

1 голос
/ 21 января 2020

Вы можете добавить дополнительные тома EBS, а также изменить их размер

Как объясняется здесь:

https://superuser.com/questions/1409373/how-to-add-an-ebs-volume-by-snapshot-id-to-amazon-emr

https://github.com/qyjohn/AWS_Tutorials/wiki/Grow-EBS-volumes-on-EMR-clusters

0 голосов
/ 20 января 2020

Я так не думаю. Это связано с тем, что вы настраиваете тома Amazon Elasti c Block Store (Amazon EBS) и настраиваете точки монтирования при запуске кластера, поэтому сложно изменить емкость хранилища после запуска кластера.

Возможные решения обычно включают добавление большего количества узлов в кластер, резервное копирование данных в озеро данных и запуск нового кластера с большей емкостью хранения. Или, если данные, которые занимают хранилище, являются расходуемыми, удаление лишних данных обычно является способом go.

. Для получения более подробной информации посмотрите: https://aws.amazon.com/blogs/big-data/dynamically-scale-up-storage-on-amazon-emr-clusters/

...