Это медленно, потому что H2 использует InputStream и не делает произвольный доступ (так что вы уже ответили на вопрос самостоятельно). Причина, по которой произвольный доступ не поддерживается: пока никто не запрашивал эту функцию: -)
Я не думаю, что есть простой обходной путь. H2 необходимо изменить для поддержки произвольного доступа. Для данных BLOB это должно быть относительно легко; для данных CLOB это будет сложнее (поскольку данные хранятся в форме UTF-8, а поиск нужной точки не так прост).
Я сейчас добавил запрос функции в план, но если вам действительно понадобится эта функция в ближайшем будущем, то, боюсь, вам придется реализовать ее самостоятельно. H2 является открытым исходным кодом, и патчи всегда приветствуются: -)