Запуск большого набора данных на EC2, забота о хранилище - PullRequest
Новая
       94

Запуск большого набора данных на EC2, забота о хранилище

1 голос
/ 28 мая 2020

Я провожу анализ последовательности через EC2. Я ожидаю, что мои выходные файлы будут более 2 ТБ. Прежде чем запустить команду, я хочу убедиться, что у меня достаточно места. Я изменил тип своего экземпляра на один для обработки данных d2.4xlarge.

Мой вопрос: если я запускаю свою команду, а выходной файл превышает емкость хранилища xvda, будет ли он автоматически переключаться на xvdf ??

надеюсь, эта информация будет полезна: 

lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0   18M  1 loop /snap/amazon-ssm-agent/
loop1     7:1    0 93.9M  1 loop /snap/core/9066
loop2     7:2    0   91M  1 loop /snap/core/6350
loop3     7:3    0   18M  1 loop /snap/amazon-ssm-agent/
xvda    202:0    0  4.9T  0 disk 
└─xvda1 202:1    0    2T  0 part /
xvdf    202:80   0  1.8T  0 disk 
xvdg    202:96   0  1.8T  0 disk 
xvdh    202:112  0  1.8T  0 disk 
xvdi    202:128  0  1.8T  0 disk 
xvdj    202:144  0  1.8T  0 disk 
xvdk    202:160  0  1.8T  0 disk 
xvdl    202:176  0  1.8T  0 disk 
xvdm    202:192  0  1.8T  0 disk

Вы увидите, что xvda1 не соответствует xvda, и это потому, что с EBS максимальный объем хранилища составляет 2 ТБ (мне нужно изменить размер тома) 

df
Filesystem      1K-blocks     Used  Available Use% Mounted on
udev             62832116        0   62832116   0% /dev
tmpfs            12570936      824   12570112   1% /run
/dev/xvda1     2081729452 45739112 2035973956   3% /
tmpfs            62854676        0   62854676   0% /dev/shm
tmpfs                5120        0       5120   0% /run/lock
tmpfs            62854676        0   62854676   0% /sys/fs/cgroup
/dev/loop0          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop1          96256    96256          0 100% /snap/core/
/dev/loop3          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop2          93184    93184          0 100% /snap/core/
tmpfs            12570932        0   12570932   0% /run/user/

спасибо! !!!!

1 Ответ

2 голосов
/ 28 мая 2020

«Если я запускаю свою команду, и выходной файл превышает емкость хранилища xvda, он автоматически переключится на xvdf»

Нет. Вам нужно будет смонтировать xvdf (похоже, вы это еще не сделали), что даст ему путь в вашей файловой системе, а затем вам нужно будет настроить свое приложение для переключения в это смонтированное местоположение при первом location заканчивается нехваткой места.

"это потому, что с EBS максимальный объем хранилища составляет 2 ТБ"

Официальный список функций для AWS EBS здесь , указано, что максимальный размер тома составляет 16 ТБ.

Если вам нужно, чтобы размер одного тома в файловой системе превышал 16 ТБ, вы можете посмотреть на объединение томов EBS в массив RAID 0, как описано здесь .

...