Вам нужны только заголовочные файлы MySQL, чтобы быть там, где происходит собственная компиляция.
В зависимости от вашей ОС / дистрибутива вы должны найти способ установить файлы заголовков без установки фактического сервера (подобно Debian / Ubuntu, вы должны делать это со стандартным apt-get, но я могу ошибаться).
Если вы работаете в Windows, пожалуйста, проверьте этот пост о проблемах с mysql2 в Windows .