У меня были некоторые неприятные ситуации при работе с веб-сервисом на основе Java с использованием спецификаций WS-Security. В этом случае было очень мало, и в основном противоречивой, документации и никакой технической поддержки от поставщика. Нам потребовалось немало времени, чтобы все заработало, но, взяв за основу образец WS-Security, в итоге все заработало.
Основная проблема при работе с плохо документированной системой черного ящика с включенной защитой затрудняет выяснение, где вы идете не так, с WCF или без.