Надеюсь, эта справка поможет.
Да, возможно работать с несколькими базами данных одновременно, но вы ищете не в том месте. psycopg2 - это просто библиотека, которая упрощает доступ к данным, поступающим с PostgreSQL, и манипулирует ими, но она не go далеко за пределами того, что вы можете сделать с psql. То, что вы хотите сделать, вы можете решить на уровне базы данных с помощью Foreign Data Wrappers.
Это становится более сложным в определении вашей схемы, но приводит к появлению удаленных таблиц с базы данных host.other.server remote_db как будто они живут на localhost в базе данных local_db .... Подробнее: https://dba.stackexchange.com/a/120682/197899