Вы можете использовать Amazon RDS , который предлагает управляемую службу MySql, к которой могут обращаться все ваши экземпляры. В противном случае, да, конечно, возможно иметь один запущенный экземпляр MySql, к которому могут обращаться все остальные экземпляры, и в этом случае вам нужно будет настроить MySql для разрешения удаленных подключений и открыть порт EC2 (по умолчанию 3306) на сервере базы данных.