То, что вы настроили, выглядит правильно для того, что вы хотите.
Я думаю, что проблема связана с различием между сертификатом, необходимым для обеспечения безопасности транспортного уровня (HTTPS), и любым сертификатом, необходимым для аутентификации.
Для обеспечения безопасности на транспортном уровне необходимо настроить сертификат для сервера IIS, который будет использоваться для его шифрования. Это никоим образом не используется для идентификации сторон в коммуникации WCF, просто для защиты связи. (сертификат, используемый для этого транспорта HTTPS, также используется для идентификации сервера, но он не связан с удостоверением WCF)
Вот ссылка на сообщение в блоге , объясняющее, как настроить сертификат в IIS для этой цели. Не обязательно лучшее, что может предложить Google, просто первое, что я обнаружил, которое охватило все важные моменты. MSDN также должен подробно об этом рассказать.