Веб-службы ASMX поддерживают только те типы аутентификации, которые непосредственно поддерживаются IIS.
В качестве альтернативы вы можете реализовать собственную аутентификацию с использованием заголовков SOAP, но тогда ваш код аутентификации должен быть идеальным.