Этот синтаксис запроса специфичен для поддержки блокировки строк в PostgreSQL. Вы можете изменить запрос для HSQLDB как:
UPDATE TABLE_NAME SET COL1 = 'C1' WHERE COL2 IN
(SELECT COL2 FROM TABLE_NAME WHERE COL3 = 'C3' LIMIT 1)
На самом деле этот упрощенный запрос делает то же самое в HSQLDB, но может иметь разные результаты при использовании с PostgreSQL:
UPDATE TABLE_NAME SET COL1 = 'C1' WHERE COL3 = 'C3'