RStudio Amazon EC2 Instance не хватает места на диске - PullRequest
Новая
       5

RStudio Amazon EC2 Instance не хватает места на диске

2 голосов
/ 21 января 2020

Я установил экземпляр AWS EC2, на котором запущен RStudio. Я смог войти в RStudio используя 000.000.000.000:8787. В последнее время при использовании RStudio у меня возникали некоторые ошибки, связанные с записью на диск, и некоторые ошибки памяти, поэтому я решил «остановить» экземпляр EC2 и затем «запустить» его снова. Внезапно я не могу войти в RStudio, используя IP-адрес, назначенный для порта 8787.

Кажется, мне не хватило памяти на экземпляре EC2, однако все, что у меня есть на экземпляре, это несколько R скрипты и несколько небольших наборов данных. Итак, я считаю, что это может быть случай, когда R как-то израсходовал пространство. Я запускаю df -Th в терминале, и вывод: 

Filesystem     Type      Size  Used Avail Use% Mounted on
udev           devtmpfs  7.9G     0  7.9G   0% /dev
tmpfs          tmpfs     1.6G   29M  1.6G   2% /run
/dev/xvda1     ext4       49G   49G     0 100% /
tmpfs          tmpfs     7.9G     0  7.9G   0% /dev/shm
tmpfs          tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs          tmpfs     7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/loop0     squashfs   90M   90M     0 100% /snap/core/8268
/dev/loop1     squashfs   18M   18M     0 100% /snap/amazon-ssm-agent/1480
/dev/loop2     squashfs   90M   90M     0 100% /snap/core/8213
/dev/loop3     squashfs   55M   55M     0 100% /snap/core18/1650
/dev/loop4     squashfs   55M   55M     0 100% /snap/core18/1288
/dev/loop5     squashfs  768K  768K     0 100% /snap/gifski/1
tmpfs          tmpfs     1.6G     0  1.6G   0% /run/user/1000

Так что, похоже, /dev/xvda1 ext4 49G 49G 0 100% / использует все доступное пространство.

Я также запускаю sudo du -aBM -d 1 . | sort -nr | head -20, что дает : 

277M    .
102M    ./rstudio-1.2.5019-amd64.deb.1
102M    ./rstudio-1.2.5019-amd64.deb
37M     ./rstudio-server-1.2.1335-amd64.deb
34M     ./ROBUSTNESS_Add_FAKE_dates_model_R_code_function_to_make_09_01_2020.out
4M      ./R_code_function_to_make_average_shap_plots_07_01_2020.out
1M      ./permissions_on_aws.txt
1M      ./iris_test.pdf
1M      ./R_code_function_to_make_average_shap_plots_07_01_2020.err
1M      ./R_code_function_to_make_average_shap_plots.out
1M      ./ROBUSTNESS_Add_FAKE_dates_model_R_code_function_to_make_09_01_2020.err
1M      ./.ssh
1M      ./.profile
1M      ./.gnupg
1M      ./.cache
1M      ./.bashrc
1M      ./.bash_logout
1M      ./.bash_history
0M      ./R_code_function_to_make_average_shap_plots.err
0M      ./.sudo_as_admin_successful

Я дополнительно запускаю find / -size +10M+

/proc/kcore
find: ‘/proc/3338/task/3338/fd/6’: No such file or directory
find: ‘/proc/3338/task/3338/fdinfo/6’: No such file or directory
find: ‘/proc/3338/fd/5’: No such file or directory
find: ‘/proc/3338/fdinfo/5’: No such file or directory
/home/USER/myRfiles/myEnvironment.RData

Хорошо, так что мой myEnvironment.RData занимает много места. Я проверяю, сколько, перейдя к нему с помощью FileZilla, и вижу, что он занимает 9,8 ГБ в размере. Это довольно много, но у меня есть 50 ГБ свободного места, так куда же ушли остальные 40 ГБ?

Я также использовал sudo apt-get autoremove, который удалил только 4 МБ. Я также удалил файл .rstudio, который занимал слишком много места.

РЕДАКТИРОВАТЬ:

Я запускаю du -cha --max-depth=1 / | grep -E "M|G", что дает такой вывод: 

100M    /boot
15M     /sbin
5.5G    /usr
du: cannot access '/proc/3811/task/3811/fd/4': No such file or directory
du: cannot access '/proc/3811/task/3811/fdinfo/4': No such file or directory
du: cannot access '/proc/3811/fd/3': No such file or directory
du: cannot access '/proc/3811/fdinfo/3': No such file or directory
919M    /snap
1.2G    /var
224M    /lib
5.8M    /lib32
7.2M    /etc
15M     /bin
11G     /home
19G     /
19G     total

У меня есть доступ к 50 ГБ пространства на инстансе Amazon AWS EC2, и здесь он говорит мне, что я использую только 19 ГБ ...

Дополнительный шаг (в основном для моего мыслительный процесс)

Затем я запускаю du -cha --max-depth=1 /home | grep -E "M|G", так как он занимает больше всего памяти. Со следующим выводом: 

277M    /home/ubuntu
11G     /home/MYUSER
11G     /home
11G     total

I go немного глубже: du -cha --max-depth=1 /home/MYUSER | grep -E "M|G"

Что дает: 

7.3M    /home/MYUSER/MlBayesOpt
728M    /home/MYUSER/chapter_3
188M    /home/MYUSER/chapter_1
25M     /home/MYUSER/gganim
58M     /home/MYUSER/.cargo
2.5M    /home/MYUSER/financial_markets_R
165M    /home/MYUSER/.rstudio
9.6G    /home/MYUSER/pollution
11G     /home/MYUSER
11G     total

Итак, я вижу, что 11GB используется с 9,6 ГБ в папке pollution. У меня доступно 50 ГБ, поэтому я не против потратить 10 ГБ на эту папку.

...