Это решается наличием отдельного прямоугольника для обеих сторон набора полей.
Кредиты @HannoverFist за комментарий -
Поместите материал слева в один прямоугольник, а материал справа в другой прямоугольник. Прямоугольник будет расти с несколькими контактами, и Адрес будет сдвигаться вниз, но он не будет выталкивать ничего за пределы прямоугольника