SSH не должен замедляться, если вы не выполняете много отдельных команд. Если это происходит медленно, либо системы находятся под высокой нагрузкой, либо у вас проблемы с обратным DNS. Вы можете попробовать установить UseDNS no
в /etc/ssh/sshd_config
и перезапустить sshd, если это ускоряет работу DNS.
Сценарий должен сам выполнять команды sudo, поэтому он должен выполняться от имени пользователя root.
Не имеет смысла, если скрипт выполняется от имени root, ему не нужно использовать sudo.