Вы смогли загрузить сборки из сети по крайней мере из .NET 2.0. Я использовал это в предыдущем проекте. Единственное, что нужно посмотреть, это размер сборки, а также количество и размер загружаемых зависимостей.
Если вы используете отдельный домен AppDomain, вам нужно будет особо учитывать зависимости.