На новый проект, легкий peasy:
rails new your_new_project_name -d mysql
В существующем проекте определенно сложнее. Это дало мне ряд вопросов о существующих проектах рельсов. Этот вид работает со мной:
# On Gemfile:
gem 'mysql2', '>= 0.3.18', '< 0.5' # copied from a new project for rails 5.1 :)
gem 'activerecord-mysql-adapter' # needed for mysql..
# On Dockerfile or on CLI:
sudo apt-get install -y mysql-client libmysqlclient-dev