Оказывается, это была ошибка, специфичная для стека PHP MAMP (http://www.mamp.info/).
Оказывает, что любой вызов JVM после сбоя в MAMP, например ,:
exec('java -version');
Исправление - префикс команды с
export DYLD_LIBRARY_PATH="";
Также я понял, что нет причин использовать этот метод вызова mxmlc.
Итак, последняя рабочая команда:
exec('export DYLD_LIBRARY_PATH=""; mxmlc MyAS3App.as -default-size 360 280 -output MyAS3App.swf');