Если вы намереваетесь отобразить веб-сайт провайдера OpenID в вашем диалоговом окне jQuery, ответ - вы не можете, и это не ограничение DotNetOpenAuth. Это связано с тем, что большинство провайдеров (на самом деле всех хороших) явно отказываются от iframes и перенаправляют всю страницу, чтобы помочь своим пользователям противостоять фишинговым атакам.
Самое близкое, чего вы можете добиться, это сделать страницу провайдера доступной во всплывающем окне, что вы, безусловно, можете сделать, и на самом деле шаблоны проекта DotNetOpenAuth (а не только примеры) демонстрируют, как это сделать.
Это непростая задача - не допустить, чтобы перенаправление происходило автоматически (хотя, конечно, возможно), потому что вы хотите вместо этого? URL? Это не всегда работает, потому что некоторые сообщения OpenID слишком длинны для URL-адреса, и для отправки всего сообщения в браузер необходимо отправить самопубликационную HTML-форму, поэтому, если вы возьмете на себя эту часть потока, вам придется быть готовым к этому.