Как я могу прочитать данные (страница за страницей) из orientDB, используя flink?

Question

Я разработал коннектор Apache Flink для чтения данных из источника OrientDB.Он работает нормально, прочитайте данные из источника и поместите их в набор данных.Но я хочу читать данные, используя технику разбиения на страницы, и перетаскивать данные постранично.Есть идеи, как мне это сделать?

Answer 1

Вы можете разделить полный набор данных на пакеты с ограничением пропуска и запускать его как отдельные задания Flink, как это CliFrontend внезапно сокращается во время обработки нескольких пакетных заданий Flink не будет читать вторую страницу, пока все записи первой страницы не будут иметьбыли обработаны.

Или вы должны реализовать логику подкачки с помощью flink - группировать все записи в пределах одной страницы по номеру страницы, а затем обрабатывать все группы страниц с параллелизмом 1

Answer 2

Вы используете запросы?Вы можете получить ограниченное количество результатов, используя этот тип запроса:

SELECT FROM <target> [WHERE ...] SKIP <records-to-skip> LIMIT <max-records>