Вы не можете смешивать режимы в одном каталоге.
ваше приложение использует форматы, настроенные в корневом каталоге, где ваши пользователи получают доступ к сайту.
вашей службе требуется базовая аутентификация, поместите ее в подкаталог и настройте базовую аутентификацию в web.config для этого каталога.
добавьте тег <location>
в корневой каталог web.config, чтобы разрешить всем пользователям доступ к каталогу службы.
что должно работать на вас.
Если что-то из этого не ясно, дайте мне знать.