Вместо создания графического блока на лету поместите его в конструктор в любом месте и установите для его свойства Visible значение False.
Если вы назовете его PictureBox1
, просто назначьте его изображение при каждом нажатии кнопки, не создавая никакого нового графического блока, и, кроме того, измените его Visible на true
:
PictureBox1.Image = Image.FromFile(dlg.FileName);
PictureBox1.Visible = true;
С вашим текущим кодом, графическое окно получает позицию по умолчанию 0,0, что означает верхний левый угол окна.