Возможно, вы захотите преобразовать это в различные утверждения, чтобы понять, почему это происходит.
Service svc = new ServiceMock();
when(mockedMergeContext.createNewEntityOfType(IService.class)).thenReturn( svc );
Теперь вы понимаете, почему это не работает?:)
Он всегда возвращает удержание экземпляра в svc, он не будет переоценивать new ServiceMock()
каждый раз, когда вызывается метод.