Как прочитать летучий слой из пакетного конвейера? - PullRequest
Новая
       27

Как прочитать летучий слой из пакетного конвейера?

0 голосов
/ 29 августа 2018

Как я могу читать из Volatile Layer, используя пакетный конвейер? 

public IntermediateData compileInFn(Pair<Key, Meta> in, LogContext logContext) {
    String partitionID = in.getKey().partition().toString();        
    try {
        if (!partitionID.isEmpty()) {
            // Retrieve the partition.
            Payload payload = retriever.getPayload(in.getKey(), in.getValue(), logContext);          

            }
        }
    } catch (Exception e) {

    }        
    return new IntermediateData(in.getKey(), testResults);
}

1 Ответ

0 голосов
/ 29 августа 2018

Ну, на самом деле это ничем не отличается от чтения из версионного каталога. Тем не менее, это, вероятно, не то, что вы действительно хотите сделать. Запланированный пакетный конвейер, запускающий компилятор DPL, запускается только при публикации новой версии. В изменчивых слоях метаданные не обязательно публикуются (что вызывает обновление версии) всякий раз, когда новые данные помещаются в изменчивый уровень. Таким образом, если поставщик данных фактически не обновляет метаданные каждый раз, когда они публикуют на энергозависимом уровне, версия может не обновляться и пакетный конвейер может не запускаться. Вы можете вручную запустить пакетное конвейерное задание и установить тип обработки «reprocess», который будет читать весь каталог, но компилятор будет запускаться только один раз.

...