48 МБ должно быть в порядке. В отличие от операционных систем и классических приложений, которые меняют память, увеличение предела памяти в PHP очень редко повышает производительность: если предел памяти достигнут, скрипт обычно просто падает.
Причины медленной работы вашего сайта наиболее вероятны в другом месте, возможно, на уровне сервера, возможно, в приложении Joomla.
Вы можете найти лучшие ресурсы по этому вопросу в сообществе Joomla, которое очень активно. Поиск в Google появляется joomlaperformance.com , в котором, похоже, есть несколько статей.