Для правильной компиляции mysql2 вам понадобятся заголовки разработки MySQL. Это необходимо, потому что большая часть функциональности написана на C и впоследствии связана с MySQL.
Решение состоит в том, чтобы указать установщику gem вашу папку установки mysql в явном виде, например
gem install mysql2 -- --with-mysql-dir=/usr/local/mysql
# or where ever you installed your mysql server to
или установкой сервера mysql в известном месте (например, с помощью homebrew .) И затем установкой гема
# install the mysql server locally
brew install mysql
# install the gem
gem install mysql2
Оба подхода требуют, чтобы у вас был установлен XCode, чтобы иметь необходимый компилятор GCC.