Дело не в том, что PHPMailer работает медленно, а в том, что вы пытаетесь выполнить медленную работу во время загрузки страницы; вы переводите около 150 мегабайт на получателя , что никогда не произойдет быстро.
Не отправляйте электронную почту во время загрузки страницы - сохраните тот факт, что вам нужно сделать отправить в вашу базу данных или очередь и обработать отправку асинхронно.
Самый простой способ сделать это - использовать задание cron, чтобы выбрать задачи отправки и запустить их.
В качестве альтернативы, выполните не отправляйте файлы по электронной почте, а отправляйте сообщение, содержащее ссылки, указывающие на них, чтобы получатели могли более эффективно загружать их по HTTP. Электронная почта просто не эффективный способ отправки больших файлов.