Когда вы перемещаете внутренние элементы div, вы извлекаете их из обычного потока документов, поэтому в основном содержащийся элемент div не имеет содержимого и высоты.
Вы можете решить это, добавив:
overflow: hidden;
к внешнему div (только одно возможное решение).