Возможно, вы неправильно поняли, что вам не нужен кластер Hadoop .Hive, Pig, Spark можно запускать локально или в файловых системах, отличных от HDFS.
Насколько я знаю о библиотеке, вам, тем не менее, нужен Hadoop API (именно это hadoop jar будет загружать для вас).
Другими словами, вы можете установить для входных и выходных каталогов локальный путь file://, чтобы обойти необходимость в HDFS.
Вы можете export CLASSPATH самостоятельно включить библиотеки Hadoop и запустить java jar для запуска JAR