Я закончил сборку как прямое расширение ruby:
subst X: "C:\Data\MySQL"
gem install mysql2 --platform=ruby -- -with-mysql-dir=X: --with-mysql-lib=X:\lib --with-mysql-include=X:\include
Мне понадобилась отдельная директива include, так как я использую MySQL 5.5 (и похоже, что расположение каталогов изменилось после 5.1)