Если WindowManager убивает окно, все виджеты удаляются, поэтому окно необходимо перестроить.Это можно сделать так:
def buildFooWindow(self):
self.builder.add_objects_from_file( 'glade_file_path', ['foo_window'] )
self.builder.connect_signals({'foo_window_cancel': self.fooWindowCancel})
Так что вам нужно вызывать эту функцию каждый раз, когда вы хотите показать окно.