На моем компьютере (Windows 7) работает должным образом при использовании Показать :
Window child = new Window();
child.Owner = this;
child.WindowStyle = WindowStyle.ToolWindow;
child.ShowInTaskbar = false;
child.Show();
При использовании ShowDialog возникает проблема. Тем не менее, мне интересно, имеет ли смысл показывать ToolWindow в качестве диалогового окна - в Windows инструментов обычно нет диалогов.