Если jar-файлы поддерживают один и тот же интерфейс, то все, что вам нужно сделать, это запустить каждый тест с немного отличным путем к классу - каждый раз с jar-файлами из другой версии.
Если вы используете интеграцию Eclipse JUnit, просто создайте N конфигураций прогонов, в каждой из них на вкладке classpath укажите необходимые файлы jar.
Если вы хотите сделать это программно, тогда я предлагаю вам начать с пустого пути к классу и использовать URLClassLoader , каждый раз предоставляя ему другой набор jar-файлов.
Примерно так:
URLClassloader ucl = new URLClassLoader( list of jars from version1 );
TestCase tc = ucl.loadClass("Your Test Case").newInstance();
tc.runTest();
ucl = new URLClassLoader( list of jars from version2 );
TestCase tc = ucl.loadClass("Your Test Case").newInstance();
tc.runTest();