Проблема для меня заключалась в том, что я ранее установил версию 9.1, а 9.1 все еще использовал порт 5432 по умолчанию. Я смог найти это с помощью команды:
root@labs:/home/caleb# /etc/init.d/postgresql status
9.1/main (port 5432): down
9.2/main (port 5433): online
Итак, я смог увидеть, что моя база данных 9.2 работает на порту 5433. Поэтому для подключения мне пришлось явно указать порт 5433:
psql -p 5433