Похоже, composer install пытается обновить пакеты, поэтому у вас, вероятно, нет файла composer.lock в вашем проекте.В этом случае composer install работает как composer update, что требует много памяти.Возможно, вашему серверу не хватает памяти, и процесс будет убит ОС.
Самый простой способ решить эту проблему - сгенерировать composer.lock в среде разработчика, зафиксировать его в проекте, а затем запустить composer install всервер в проекте с composer.lock.Установка зависимостей из composer.lock обходится дешево, поэтому проблем с памятью не должно быть.
Если вы не можете этого сделать, вам нужно больше памяти на вашем сервере - либо включите обмен, либо купите сервер сбольше оперативной памяти.