Я использую Linux, поэтому вам придется немного адаптировать этот ответ, но он должен быть применим.
В домашнем каталоге, который создает установщик jar, вы найдете файл с именем "squirrel-sql.sh". Последняя строка этого файла - cmd запуска java. Не уверен насчет конфигурации запуска Mac, вам может понадобиться найти файл в этом каталоге, содержащий эту строку. Мой читает
$JAVA -Xmx256m -cp $TMP_CP net.sourceforge.squirrel_sql.client.Main --log-config-file $SQUIRREL_SQL_HOME/log4j.properties --squirrel-home $SQUIRREL_SQL_HOME $1 $2 $3 $4 $5 $6 $7 $8 $9
-Xmx256m настраивает кучу - он устанавливает максимальный размер кучи равным 256 м. Просто отредактируйте файл так, чтобы он читался как -Xmx512m или как угодно. (для получения списка флагов памяти введите «java -X» в командной строке).