вы можете опубликовать свой код, какие действия вызывают длительное время загрузки. но если mef должен создать ваш объект и это создание занимает много времени, у вас нет шансов сократить это время? или я что-то не так понял?
public void Startup
{
//if this takes a long time,
//it would be take a long time even not related assemblies are not in your container
var myclass = cc.GetExport<MyType>();//or cc.ComposeParts(this);
}