Чтобы получить постоянный ответ:
var mock = new Mock<IDataLayer>();
mock.Setup(d => d.Calculate()).Returns("what ever value you want to return");
Чтобы убедиться, что он был вызван:
mock.Verify(d=> d.Calculate());
Сначала вам нужно самостоятельно протестировать класс WCF, чтобы проверить поведение.На самом деле хостинг сервиса и использование прокси-клиента - это интеграционный тест.
Так что создайте NUnit TestFixture для сервиса (который, я думаю, называется Калькулятор).Обращайтесь с ним в NUnit как с обычным классом и выполните все свои тесты, смоделируйте DataLayer, чтобы получить результаты с результатами и выясните, был ли он вызван или нет, когда вы ожидаете, что он будет вызван.