Как решить SCDF, создав несколько PODS при планировании задачи с SCDF + Kubernetes? - PullRequest
0 голосов
/ 29 мая 2020

Привет, я запускаю SCDF в openshift. У меня есть два вопроса.

Вопрос 1

Когда я выполняю задачу с использованием параметра «Планирование задачи» один раз в минуту из SCDF, он создает модуль для каждого выполнения в openshift . И модули продолжают работать даже после завершения работы. Предполагая, что каждые 15 минут будут выполняться задания, я предполагаю, что многие модули будут в рабочем режиме в конце дня. Я предполагаю, что должен быть способ переместить эти PODS в состояние завершения после того, как задание вернет статус завершения. Но я не мог понять, как.

Same task running every 1 minute. And the pod Status is running even after job completion

Простая задача, которую я использую

@Configuration
@EnableBatchProcessing
@EnableTask
public class Facdata_loaderLoader extends BatchJobLoader{

    @Bean
    public JdbcCursorItemReader<> data_loaderReader()
    {
        return JdbcCursorItemReader; // An instance of it
    }

    @Bean
    public Step step01_data_loader()
    {
        return stepBuilderFactory
                .get("S1-CU-Loaddata_loader")
                .<DomainObjects, data_loader> chunk(100)
                .reader(data_loader_Reader())
                .writer(data_loader_writer)
                .listener(listener)
                .allowStartIfComplete(false)
                .startLimit(2)
                .build();
    }

    @Bean
    public Job loaddata_loader()
    {
        return jouilderFactory
                .get(data_loader_JOB_NAME)
                .incrementer(new RunIdIncrementer())
                .start(step_00_job_details_session())
                .next(step_01_data_loader())
                .listener(jobExecutionListener)
                .build();
    }

}

Есть ли конфигурация, которую мне здесь не хватает?

Вопрос 2

При запуске задачи один раз в минуту после нескольких выполнений следующее выполнение задания начало выдавать ошибку как «Экземпляр задания уже существуют". Исключение ниже.

Caused by: org.springframework.batch.core.repository.JobInstanceAlreadyCompleteException: A job instance already exists and is complete for parameters={-spring.cloud.task.executionid=63, run.id=5, -spring.cloud.data.flow.platformname=default, -spring.datasource.username=User_name, -spring.cloud.task.name=SingleJob, -spring.datasource.password="Password", -spring.datasource.driverClassName=oracle.jdbc.OracleDriver, -spring.datasource.url="datasource_Url".  If you want to run this job again, change the parameters.
    at org.springframework.batch.core.repository.support.SimpleJobRepository.createJobExecution(SimpleJobRepository.java:131)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:344)

В обычном весеннем пакете я мог бы начать свою работу с помощью jobLauncher и передать Job_Id в качестве параметра. Как показано ниже.

JobParameters param = new JobParametersBuilder()
                            .addString("JobID", String.valueOf(System.currentTimeMillis())).toJobParameters();
jobLauncher.run(facSessionsLoader.loadBBSessions(), param);

Но как я могу сделать это в Задаче, если я планирую ее через SCDF?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...