Только не предоставляйте контейнеру указанную c высоту; Также вы можете использовать ограничения для установки минимальной и максимальной ширины и высоты
Container(constraints: new BoxConstraints(
minHeight: 5.0,
minWidth: 5.0,
maxHeight: 30.0,
maxWidth: 30.0,
),child: ,)