Spring Batch - чтение файла из AWS S3 для обработки - PullRequest
Новая
       10

Spring Batch - чтение файла из AWS S3 для обработки

0 голосов
/ 23 марта 2020

Я пишу Spring Batch Application, которому нужно прочитать файл из корзины AWS S3.

Это мой класс AWS Config Java, 

@Configuration
public class AWSConfig{

    @Value("${cloud.aws.credentials.accessKey}")
    private String accessKey;

    @Value("${cloud.aws.credentials.secretKey}")
    private String secretKey;

    @Value("${cloud.aws.region}")
    private String region;

    @Bean
    public BasicAWSCredentials basicAWSCredentials() {
        return new BasicAWSCredentials(accessKey, secretKey);
    }

    @Bean
    public AmazonS3Client amazonS3Client(AWSCredentials awsCredentials) {
        AmazonS3Client amazonS3Client = (AmazonS3Client) AmazonS3ClientBuilder.standard()
                .withCredentials(new AWSStaticCredentialsProvider(awsCredentials))
                .withRegion(region)
                .build();
        return amazonS3Client;
    }

}

Это мой aws -контекст. xml (находится в файле resources /), который предназначен для изменения ResourceLoader по умолчанию, 

<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:aws-context="http://www.springframework.org/schema/cloud/aws/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
        http://www.springframework.org/schema/beans/spring-beans.xsd
        http://www.springframework.org/schema/cloud/aws/context
        http://www.springframework.org/schema/cloud/aws/context/spring-cloud-aws-context.xsd">

    <aws-context:context-resource-loader amazon-s3="amazonS3Client" />

</beans>

Это мой SpringBatchConfig. java class, 

@Configuration
@EnableBatchProcessing
public class SpringBatchConfig {

    @Autowired
    private ResourceLoader resourceLoader;

    @Bean
    public Job job(JobBuilderFactory jobBuilderFactory,
                   StepBuilderFactory stepBuilderFactory,
                   ItemReader<User> itemReader,
                   ItemProcessor<User, User> itemProcessor,
                   ItemWriter<User> itemWriter
    ) {

        Step step = stepBuilderFactory.get("ETL-file-load")
                .<User, User>chunk(100)
                .reader(itemReader)
                .processor(itemProcessor)
                .writer(itemWriter)
                .build();


        return jobBuilderFactory.get("ETL-Load")
                .incrementer(new RunIdIncrementer())
                .start(step)
                .build();
    }

    @Bean
    public FlatFileItemReader<User> itemReader() throws IOException {

        FlatFileItemReader<User> flatFileItemReader = new FlatFileItemReader<>();
        flatFileItemReader.setResource(resourceLoader.getResource("s3://" + "<bucket-name>" + "/" + "<key>"));
        flatFileItemReader.setName("CSV-Reader");
        flatFileItemReader.setLinesToSkip(1);
        flatFileItemReader.setLineMapper(lineMapper());
        return flatFileItemReader;
    }

    @Bean
    public LineMapper<User> lineMapper() {

        DefaultLineMapper<User> defaultLineMapper = new DefaultLineMapper<>();
        DelimitedLineTokenizer lineTokenizer = new DelimitedLineTokenizer();

        lineTokenizer.setDelimiter(",");
        lineTokenizer.setStrict(false);
        lineTokenizer.setNames(new String[]{"id", "name", "dept", "salary"});

        BeanWrapperFieldSetMapper<User> fieldSetMapper = new BeanWrapperFieldSetMapper<>();
        fieldSetMapper.setTargetType(User.class);

        defaultLineMapper.setLineTokenizer(lineTokenizer);
        defaultLineMapper.setFieldSetMapper(fieldSetMapper);

        return defaultLineMapper;
    }

}

Я следовал ответу, данному @mtoutcalt в этом потоке StackOverflow, чтобы настроить это, Spring Batch - чтение файлов из Aws S3

А также этой документации : https://cloud.spring.io/spring-cloud-aws/spring-cloud-aws.html#_resource_handling

Проблемы, с которыми я сталкиваюсь,

1) В SpringBatchConfig. java при попытке автоматического подключения ResourceLoader он говорит (я использую IntelliJIdea) , 

Could not autowire. There is more than one bean of 'ResourceLoader' type.
Beans:
    (aws-config.xml) webApplicationContext   (Spring Web)

2) Когда я запускаю пакетное приложение, оно говорит: 

Caused by: java.lang.IllegalStateException: Input resource must exist (reader is in 'strict' mode): ServletContext resource [/s3://<bucket-name>/<key>]

Может кто-нибудь помочь с исправлением этого?

С уважением

...