На сайте OpenSSL есть страница для бинарных пакетов:
http://www.openssl.org/related/binaries.html
Я думаю, это то, что вы хотите для Windows.
Я не могу сказать, насколько хорошо это будет работать. Также, пожалуйста, уточните, что вы хотите сделать. Вы не можете "создать SSL для MySQL в Windows". Возможно, вы хотите, чтобы MySQL имел соединения с шифрованием SSL?