На основании документа вы должны иметь возможность добавить команду композитора в <...>
php -d memory_limit=-1 composer <...>
Итак, для таких вещей, как
php -d memory_limit=-1 composer require apackage
php -d memory_limit=-1 composer update
Это означает, чтовыполните команду composer с memory_limit = -1.