Возможно, на панели есть свойство для этого, или вы можете перебрать все дочерние элементы панелей и отрегулировать их положение.
Например. переместить все элементы управления 10 пикселей:
int xoffset = 10;
foreach(Control c in panel1.Controls)
c.Location.X += xoffset;
Элементы управления можно перемещать в отрицательные позиции, чтобы заставить их перемещаться за пределы панели, аналогично они могут иметь значения местоположения, превышающие размер панелей, чтобы заставить их выйти за пределы панели.