Типы загружаются JIT в первый момент, когда вам требуется какой-либо тип из другой сборки.
Сначала загружается сама сборка, затем содержатся все типы.
После этого типы находятся в памяти, и при их создании штраф не взимается.
Все это верно для AppDomain. Но вы, вероятно, используете только один.
Таким образом, проблема с производительностью, на которую вы ссылаетесь, может возникнуть только после загрузки сборки питомца.
Если вы обеспокоены тем, что это может быть запущено, когда это не нужно, вы можете выбрать предварительную загрузку всех необходимых вам сборок заранее ( ссылка на один мой вопрос ).