Проблема скорости с TLS связана только с рукопожатием открытого ключа.Как прокомментировал Бруно, TLS использует симметричное шифрование после рукопожатия.
Если рукопожатие с открытым ключом добавляет слишком большую задержку для этого конкретного приложения, вы не должны использовать схему общего секрета, которую вы предлагаете с общим ключом шифрования.Если вы используете один и тот же ключ для каждого соединения, зашифрованный текст уязвим для атак, анализирующих зашифрованный текст нескольких сеансов.Вместо этого вам нужно применить схему для использования «общего секрета» (который никогда не используется непосредственно для шифрования) для согласования уникального ключа шифрования для каждого соединения.Кроме того, вам нужен некоторый протокол для проверки целостности передаваемых данных.
Все это сложно сделать правильно, поэтому, если возможно, вам следует использовать TLS.