Чтобы реализовать это, вам нужно иметь 2 JAR-файла, которые имеют APACHE-POI и mysql-connector.
Во-первых, для извлечения данных из файла Excel вам необходимо использовать APACHE-POI библиотека.И по мере того, как вы будете получать данные построчно, вставляйте данные в таблицу mysql, используя файл jar коннектора mysql.
Будет легко, если структура файла excel будет такой же, как у таблицы в MYSQL.