Похоже, вы описываете проблему многопоточности, а не проблему сбора мусора - как в вашем коде пытается получить доступ к домену после его выгрузки, но до того, как новый был создан и назначен напеременная.
Синхронная выгрузка выгружает соответствующий домен приложений и вызывает исключение, если домен не может быть выгружен.
Требуется больше кода, чтобы помочь в дальнейшей работе ...