Наконец-то решено, но, возможно, не лучшим образом. Действительно, мы использовали решение переменной overcommit_memory в Linux, указанное Иваном, и больше никаких проблем. Но мы не уверены, что изменим, что глобальные настройки памяти не повлияют на поведение системы в дальнейшем, так как, похоже, она выделяет гораздо больше памяти. Надеемся, что мы не так часто запускаем imagemagick из java-кода, поэтому память освобождается, когда imagemagick сделал свое дело.