Нет способа сделать это в каждом случае. Учтите, что UrlReferrer не может быть установлен. Также учтите, что вам может позвонить клиент, у которого нет адреса DNS.
Вместо этого вам следует рассмотреть возможность настройки IIS для аутентификации с использованием пользовательских сертификатов. Если вам звонит только небольшое количество сайтов, сгенерируйте сертификат, зарегистрируйте его в IIS и сопоставьте с нужным пользователем, а затем передайте сертификаты этим двум машинам, которые будут установлены на них.