Как вы подразумеваете "вставить"? Если вы имеете в виду, можете ли вы вручную отредактировать web.config: да, вы можете. Вы бы добавили запись для connectionStrings (если ее не было), а затем дочерний узел для вашей конкретной строки подключения.
Если вы имеете в виду, можете ли вы сделать это в коде: теоретически да. Тем не менее, это обычно плохая практика и боль в задней части.