Аутентификация на основе сообщений, основанная на WS-Security, - это то, что вам нужно, и она определенно поддерживается basicHttpBinding и netTcpBinding. Я думаю, вы делаете ошибочное предположение, что только WsHttpBinding будет поддерживать WS-Security, что является неточным.
Привязки WS предназначены для элементов WS- *, отличных от WS-Security, таких как WS-ReliableMessaging. Настроить независимую от транспорта защиту сообщений будет непросто, если вы хотите, чтобы она оставалась безопасной. Для транспортов, которые не являются дуплексными, вам необходимо заранее обменять хотя бы один сертификат.
Возможно, это еще одна причина, по которой вы считаете, что защита сообщений не поддерживается basicHttpBinding. basicHttpBinding не позволит вам использовать аутентификацию UserName без защиты транспорта (я также добавлю, что и по уважительной причине). А поскольку безопасность на транспорте по своей природе зависит от транспорта, я полагаю, вы пытаетесь ее избежать.
Так или иначе, если вы хотите быть полностью независимыми от транспорта, первое, что вам нужно - это привести сертификаты в порядок и выяснить, как вы собираетесь распространять первый (корневой) сертификат (ы) или безопасно обменяться сертификаты. Если у вас есть приложение класса люкс, в котором вы можете распространять мастер-сертификат, выберите этот путь. Если вы находитесь в более сложном сценарии, вам нужно сделать шаг назад и подумать, насколько серьезна эта проблема на самом деле.