Если вы попытаетесь вставить в каталог одну сборку объекта следующим образом:
Assembly assembly = Assembly.Load(System.IO.File.ReadAllBytes(Path.Combine(directoryPath, ItemPlugin)));
aggregateCatalog.Catalogs.Add(new AssemblyCatalog(assembly));
Вы можете удалить файл позже ...