Это действительно слишком широкий вопрос для SO. PHPMailer и nodemailer очень похожи в том, как они работают, поэтому было бы полезно показать любые различия в конфигурации между ними (например, используют ли они один и тот же почтовый сервер?).
Вам необходимо выяснить разницу в маршрутизации между ними - это почти единственное, что может объяснить такую большую задержку. Для лучшей производительности вы должны отправлять через локальный почтовый сервер, и вы сможете просматривать его журналы, чтобы увидеть, куда идет время.