Да, если модуль MySQL не скомпилирован непосредственно в PHP (в этом случае он будет всегда доступен), вам необходимо явно указать, что вы хотите, чтобы внешний .dll загружался.
Что касается того, куда он должен идти, это зависит.В PHP обычно есть как минимум 2 основных файла .ini, один для операций, встроенных в веб-сервер, и один для операций командной строки.Вы должны будете добавить строку в зависимости от того, что применимо к вашему делу.Нет ничего страшного в том, чтобы добавить его к обоим, если только вам не нужен «урезанный» PHP с как можно меньшим количеством загруженных модулей.