Параметры памяти времени выполнения для javac не указываются с использованием простого флага -X. Вместо этого используйте флаг -J , как показано в следующем примере, где память запуска зарезервирована для 128M.
$javac -J-Xmx128M FooBar.java
Эта опция, хотя и является нестандартной, доступна как в Solaris, так и в Linux и Windows. Не уверен насчет Mac.