Да.Вам придется изменить каждый из них для использования .Net 4.0.
Или вы можете создать скрипт, который изменил бы текст всех файлов проекта и изменил поддерживаемую структуру.Но это заняло бы больше времени, чем просто пройти через все и изменить их.
Просто заметьте, что вам не нужно этого делать.Есть обратная совместимость .. проекты, скомпилированные для работы с .Net 3.5, будут работать с .Net 4.0
Единственное, что вам действительно нужно сделать, это изменить проект установки, чтобы включить .Net 4.0 в качестве предварительного условия.
Кроме того, вам не нужно менять каркас, пока вы действительно не захотите использовать что-то из нового каркаса.