Если вы работаете в Snow Leopard, попробуйте сделать следующее
Удалить mysql gem:
sudo gem uninstall mysql
Установить гем с правильными флагами
sudo env ARCHFLAGS="-arch i386" gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
PS: также проверьте, что вы используете MySQL 5.1, а не 5.5, потому что были некоторые проблемы с ним, поэтому рекомендуется снизить его до 5.1.