Сборки при загрузке в домен приложений остаются загруженными, поэтому вам нечего делать, это поведение по умолчанию.
На самом деле у вас возникнет проблема, если вы хотите выгрузить сборку, в этомВ случае, если вам необходимо выгрузить весь AppDomain, именно поэтому вы часто загружаете сборку в новый AppDomain, в этом случае вам не нужно предпринимать эти усилия.