Как выйти за пределы R с точки зрения памяти - PullRequest
2 голосов
/ 19 марта 2020

Я новичок в продвинутом программировании на R. К сожалению, у меня проблемы с памятью. При переполнении стека я мог найти только более старые вклады. Я не мог найти решение, которое работало на меня. Машинное обучение растет в последние годы, поэтому я думаю, что есть новые решения. Итак, мне интересно, каковы лучшие практики в настоящее время. Все ли работают на сервере Azure или есть другие варианты, которые можно использовать локально?

(Для полноты изложения я объясню свой контекст. Но я думаю, что это не относится к самому вопросу ... Мой контекст: я выполняю анализ на сервере linux. Набор данных достаточно мал, чтобы без проблем загружаться в R. Подробности: 42 МБ, #rows: 225000, #columns: 25. Однако, когда я хочу запустить случайный лес классификационная модель и выполнение 5-кратной перекрестной проверки с использованием пакета caret. Чтобы улучшить время вычислений, я запускаю его на 8 кластерах / ядрах. Одна из ошибок, которую я получил, это «Ошибка: невозможно выделить вектор размером ** ГБ ")

У вас есть предложения для пакетов или источников информации, которые я могу попробовать? Если вам нужна дополнительная информация, чтобы дать подходящий ответ, пожалуйста, дайте мне знать:)

...