Да, размер файла JAR влияет на производительность. Более уместный вопрос: имеет ли это какие-либо существенные последствия? Ответ на этот вопрос - нет.
Да, есть момент, когда файл JAR становится слишком большим и влияет на JVM. Я не знаю, где это, но оно где-то близко к размеру вашей системной памяти. Если JVM не может загрузить весь файл JAR и библиотеки Java в системную память без замены, это, безусловно, повлияет на производительность.
Это не то, что тебе нужно беспокоиться. Не включайте файлы JAR в путь к классам, которые не используются. Не включайте в файл JAR вашего проекта кучу кода, который не используется. Я очень сомневаюсь, что вы создадите приложение где-то такого размера, который необходим для влияния на производительность JVM.