Вместо сохранения w в локальной переменной сохраните его в переменной-члене текущего класса. В MouseExit используйте переменную-член, чтобы закрыть окно.
public partial class ListWindow
{
Window displayWindow;
public void OnListBoxItem_MouseEnter()
{
displayWindow = new Window();
displayWindow.Show();
}
public void OnListBoxItem_MouseExit()
{
displayWindow.Close();
}
}