Файлы Web.config имеют «каскадный» характер. Значения конфигурации в родительских папках применяются первыми. Если в подпапках есть файлы конфигурации, они переопределяют родительские значения, где это применимо.
Если у вас нет высокой степени повторного использования пользовательских настроек конфигурации, возможно, имеет смысл просто скопировать и вставить значения между файлами в четырех проектах.
Если конфигурации действительно идентичны, вы также можете создать задачу сборки, чтобы скопировать общий файл web.config в каждый из проектов.