TL; DR jars используются для локальных или удаленных jar-файлов, указанных с помощью URL, и не разрешают зависимости, packages используются для координат Maven и разрешают зависимости. Из документов
--jars
При использовании spark-submit jar приложения вместе с любыми jar-файлами, включенными в опцию --jars, будет автоматически перенесен в кластер. URL, указанные после --jars, должны быть разделены запятыми. Этот список включен в пути к классам драйвера и исполнителя. Расширение директории не работает с --jars.
--packages
Пользователи могут также включать любые другие зависимости, предоставляя разделенный запятыми список координат Maven с помощью --packages. Все переходные зависимости будут обрабатываться при использовании этой команды. Дополнительные репозитории (или резолверы в SBT) могут быть добавлены через запятую с помощью флага --repositories. (Обратите внимание, что учетные данные для репозиториев, защищенных паролем, могут быть предоставлены в некоторых случаях в URI хранилища, например, в https://user:password@host/.... Будьте осторожны при вводе учетных данных таким способом.) Эти команды можно использовать с pyspark, spark-shell, и spark-submit для включения пакетов Spark.