Я хочу, чтобы флаг "-Xmx1g" был установлен, когда я щелкаю по конкретному файлу JAR в OS X.
Вы не можете.Щелкнув файл JAR, OS X выберет приложение по умолчанию для запуска файлов .jar.Что, конечно, java (в OS X это называется Jar Launcher).
То, что вы можете сделать, это обернуть JAR в исполняемый файл. Launch4j неплохо сделать это.
Второй вариант - написать скрипт оболочки (bash, но с расширением файла .command), который вызывает ваш jar-файл с использованием этого флага.