У меня работает следующее:
Запустите сервер из своего кода, который показан в коде org.hsqldb.test.TestBase в исходном коде HSQLDB. Что-то вроде:
Server server = new Server();
server.setDatabaseName(0, "test");
server.setDatabasePath(0, "file:/path/to/db");
server.start();
В той же JVM откройте Соединение с той же базой данных, как в обычной (не серверной) программе, например:
conn = DriverManager.getConnection("jdbc:hsqldb:file:/path/to/db");
Затем используйте conn для выполнения любого SQL-запроса.
В моих собственных экспериментах это работает, и работает для оперативной памяти и файловой базы данных.
Разумеется, другим JVM потребуется подключаться к серверу по протоколу TCP. Попытка открыть файл базы данных непосредственно в другой JVM приведет к обычной ошибке о блокировке базы данных.