Подобные установки вручную можно установить с помощью sudo.
sudo gem install pg -v '0.12.1'
Надеюсь, это поможет!
EDIT:
Согласно комментариям ниже, я заметил, что вы используете rvm. Не используйте sudo при использовании rvm. Проверьте пути и убедитесь, что у вас действительно установлены правильные разрешения!