Может быть, я неправильно понимаю, что вы пытаетесь сделать, но если у вас есть папка в вашем classpath, это означает, что все файлы под ней также должны быть в classpath. Если нет, вы всегда можете передать каждый файл .properties в путь к классу.
Но в любом случае, поскольку файл / папка, в которой находится файл, находится в пути к классам, вы должны просто выполнить:
InputStream in = new FileInputStream("classpath:xyz.properties")
И поскольку "foo / bar / plugh" находится в пути к классам, одно из мест, где он будет искать xyz.properties, находится в "foo / bar / plugh".