Как я могу набрать приведенный объект окна gtkmm в контейнер gtkmm
Вам не нужно - Gtk::Window наследуется от Gtk::Container, поэтому вы можете использовать любой метод контейнера в окне.
Gtk::Window
Gtk::Container
Некоторые функции в gtkmm возвращают не объект, а указатель. Итак, вы должны использовать RefPtr (https://developer.gnome.org/gtkmm-tutorial/stable/sec-refptr-casting.html.en).
Glib::RefPtr<Gtk::Container> contaier_var = Glib::RefPtr<Gtk::Window>::cast_dynamic(window_var);