Вам не хватает памяти (кучи), зарезервированной для виртуальной машины Java. Попробуйте увеличить его при запуске сервера с помощью параметров командной строки или файлов конфигурации.
Примерно так:
server_start_command -J-Xm900m
Или исправьте сценарий ruby, чтобы использовать меньше динамической памяти.