Поскольку SslStream предположительно находится вокруг обычного SocketStream, я бы сказал, что это весьма вероятно, потому что в какой-то момент асинхронное SslStream должно будет выполнить чтение базового потока. Логично, что он реализует это с точки зрения асинхронного чтения в основном потоке.
Сказав, что я не могу дать вам 100% точный ответ, но если вы не готовы использовать библиотеку SSL или «внедрить свою», даже если она этого не сделает, это удержит вас от использования SslStream