Неожиданный сбой при кластеризации с RStudio на ec2 (AWS) - PullRequest
Новая
       23

Неожиданный сбой при кластеризации с RStudio на ec2 (AWS)

0 голосов
/ 02 мая 2019

У меня возникают сбои с RStudio на ec2 при кластеризации с 32 ядрами, использующими пакет doSNOW.Проблема продолжает возникать, и журналы в RStudio и awslogs показывают следующие проблемы: 

The previous R session was abnormally terminated due to an unexpected crash. You may have lost workspace data as a result of this crash

Я попробовал обходной путь, найденный на странице сообщества RStudio, например: 

rm -rf ~/.rstudio

Я перезапустилэто многократно прерывало работу RStudio, но это не помогло.Я перехожу на более крупный экземпляр: r4.8xlarge, но вычисление также не может быть выполнено. 

Apr 30 14:14:23 ip-172-31-46-102 rsession-rstudio[12984]: ERROR session hadabend; LOGGED FROM: rstudio::core::Error {anonymous}::rInit(const rstudio::r::session::RInitInfo&) /home/ubuntu/rstudio/src/cpp/session/SessionMain.cpp:563

Это следующий код при сбое RStudio: 

# Clustering using gower distance and hclust()
d <- sapply(1:nrow(data), function(i) gower_dist(data[i,], data))
d <- as.dist(d)
h <- hclust(d)  # this causes error

1 Ответ

0 голосов
/ 02 мая 2019

Проблема решена - hclust не очень подходит для больших данных. Замена на flashClust больше не приводит к падению RStudio, и вычисление прошло успешно.

...