Добавление вещей в rt.jar кажется плохой идеей, хотя это возможно и легко осуществить.
Попробуйте скомпилировать приложение из командной строки следующим образом:
javac -cp <path_to_3rd_libs>/jarfile.jar . MainClass.java
Если компилятор все еще жалуется на пакет javax.mail, попробуйте распаковать / проверить файл jar, чтобы увидеть, что пакет javax.mail (и его ожидаемое содержимое) есть.
(В Windows легко просмотреть файл JAR, используя 7zip.)