Spring boot Async + многопоточность отключается, не выполнив все задачи

Question

Пружинная загрузка отключается, не выполнив всю задачу.

Я хочу собрать данные из базы данных MYSQL, а затем экспортировать эти данные в виде csv-файла. Однако загрузка Spring завершается через некоторое время.

Я пытался следовать примеру Здесь и Здесь , но, похоже,

 CompletableFuture.allOf(tasks.toArray(new CompletableFuture[tasks.size()])).join();

не ждет, пока все задачи не будут завершены.

ПРИМЕЧАНИЕ. У меня более 150 задач, для которых мне нужно экспортировать данные в файл CSV.

Код:

MainApplication.java

@SpringBootApplication
@EnableAsync
public class MainApplication implements CommandLineRunner {

@Autowired
private TaskRunner taskrunner;

public static void main(String[] args) throws Exception{
    SpringApplication application = new SpringApplication(MainApplication.class);
    application.setBannerMode(Banner.Mode.OFF);
    application.run(args);
  }

 public void run(String... args) throws Exception {
    taskrunner.executeTasks();
    exit(0);
   }
}

TaskRunner.java

@Service
public class TaskRunner {

@Autowired
public DataCollector dataCollector;

public void executeTask() throws Exception {

  final List<String> parameters = dataCollector.getParameters();
  List<CompletableFuture> tasks = new ArrayList<CompletableFuture>();

  for (String name : parameters) {
    try{
    tasks.add(CompletableFuture.runAsync(() -> dataCollector.ExportDataToCsv(name)));
    }catch(){
      ex.printStackTrace();
      System.out.println("Export failed for Param: "+name);
    }
  }

  CompletableFuture.allOf(tasks.toArray(new CompletableFuture[tasks.size()])).join();

  System.out.println("All Task Finished");
  }
}

DataCollector.java

public class DataCollector{

@Autowired
public DataRepository dataRepository;

 @Async("ThreadPoolTaskExecutor")
 public CompletableFuture<String> ExportDataToCsv(String tableName){
   // Code To export data to csv
 }
}

DataRepository.java

@Repository
public class DataRepository {

   @Qualifier("jdbcExportService")
   @Autowired
   public JdbcTemplate jdbcTemplate;

   public SqlRowSet getParamData(String param){
    String Statement = "select * FROM " + param;
    return jdbcTemplate.queryForRowSet(Statement);
  }
}

DatabaseConfiguration.java

 @Configuration
 public class DatabaseConfiguration {

@Bean(name="db")
@ConfigurationProperties(prefix = "spring.db")
public DataSource createExportDataSource(){
    return DataSourceBuilder.create().build();
}

@Bean(name = "jdbcExportService")
@Autowired
public JdbcTemplate createJdbcTemplateExportService(@Qualifier("db") DataSource exportServiceDS){
    return new JdbcTemplate(exportServiceDS);
 }
}

Вывод:

2019-06-25 14:39:56.868  INFO 13163 --- [       Thread-2] o.s.s.concurrent.ThreadPoolTaskExecutor  : Shutting down ExecutorService 'ThreadPoolTaskExecutor'
2019-06-25 14:39:56.868  INFO 13163 --- [       Thread-2] j.LocalContainerEntityManagerFactoryBean : Closing JPA EntityManagerFactory for persistence unit 'default'
2019-06-25 14:39:56.997  INFO 13163 --- [       Thread-2] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Shutdown initiated...
2019-06-25 14:39:57.011 DEBUG 13163 --- [       Thread-2] com.zaxxer.hikari.pool.HikariPool        : HikariPool-1 - Before shutdown stats (total=10, active=5, idle=5, waiting=0)
2019-06-25 14:39:57.371 DEBUG 13163 --- [nnection closer] com.zaxxer.hikari.pool.PoolBase          : HikariPool-1 - Closing connection com.mysql.cj.jdbc.ConnectionImpl@2c373ded: (connection evicted)
2019-06-25 14:39:57.991 DEBUG 13163 --- [nnection closer] com.zaxxer.hikari.pool.PoolBase          : HikariPool-1 - Closing connection com.mysql.cj.jdbc.ConnectionImpl@4856fa0b: (connection evicted)
    2019-06-25 14:39:57.994 DEBUG 13163 --- [nnection closer] com.zaxxer.hikari.pool.PoolBase          : HikariPool-1 - Closing connection com.mysql.cj.jdbc.ConnectionImpl@375c83e: (connection evicted)
2019-06-25 14:39:57.995 DEBUG 13163 --- [nnection closer] com.zaxxer.hikari.pool.PoolBase          : HikariPool-1 - Closing connection com.mysql.cj.jdbc.ConnectionImpl@417d7b5b: (connection evicted)
2019-06-25 14:39:57.996 DEBUG 13163 --- [nnection closer] com.zaxxer.hikari.pool.PoolBase          : HikariPool-1 - Closing connection com.mysql.cj.jdbc.ConnectionImpl@77ebb3e9: (connection evicted)
2019-06-25 14:39:58.094 DEBUG 13163 --- [       Thread-2] com.zaxxer.hikari.pool.HikariPool        : HikariPool-1 - After shutdown stats (total=0, active=0, idle=0, waiting=0)
2019-06-25 14:39:58.095  INFO 13163 --- [       Thread-2] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Shutdown completed.
2019-06-25 14:39:58.651  WARN 13163 --- [ export-thread1] com.zaxxer.hikari.pool.ProxyConnection   : HikariPool-1 - Connection com.mysql.cj.jdbc.ConnectionImpl@4c18c2a2 marked as broken because of SQLSTATE(08003), ErrorCode(0)

Answer 1

мое предположение после прочтения немного, и я ни в коем случае не профессионал в этом. Так что это вполне может быть неправильно.

CompletableFuture#join ждет, пока вы не сможете извлечь результирующее значение из этого CompletableFuture. CompletableFuture#get создает проверенное исключение и прерывается, в то время как CompletableFuture#join не прерывается. Но оба делают одно и то же, извлекают значение из завершаемого будущего и при необходимости блокируют, пока не сделают.

Я думаю, что вы ищете, поскольку вы хотите что-то напечатать, когда они сделаны, - это использовать CompletableFuture#thenAccept, который будет выполнять «что-то», когда все закончено.

CompletableFuture<Void> allFutures = CompletableFuture.allOf(tasks.toArray(new CompletableFuture[tasks.size()]));
allFutures.thenAccept(Void -> System.out.println("All Task Finished"));

Я предполагаю, что он устанавливает все асинхронные задачи, затем пропускает все и выходит из приложения.

ссылки:

Java-8-completablefuture в действии

completablefuture-нарисуй против-получить