Вы смешиваете ложные синтаксисы Rhino.Я бы использовал новый синтаксис ААА.Это намного проще.
INotifyMessageSender messageSenderMock = MockRepository.GenerateMock<INotifyMessageSender>();
NotificationAgent notificationAgent = new NotificationAgent(Guid.NewGuid(), messageSenderMock);
notificationAgent.Start();
messageSenderMock.AssertWasCalled(x => x.SendRegisterNodeMessage(machineID));