Вы хотите создать совершенно новый процесс? Тогда вы должны использовать
Runtime.getRuntime().exec(new String[] {"java","-cp","/path/to/classes/dir/","com.foo.MyClass"});
Если вы хотите что-то в том же процессе, вы можете создать новый ClassLoader, который знает, как загрузить ваш .class файл. Затем вы можете использовать отражение, чтобы получить объект класса из загрузчика классов, и вызвать его «основной» метод или что-то в этом роде. Вам нужно будет использовать отражение, потому что класс не будет доступен в загрузчике классов по умолчанию.