Чтение файла из HDFS с использованием пакета Spring

Question

Мне нужно написать пакет Spring, который будет читать файл из HDFS и обновлять данные в БД MySQL.

Исходный файл в HDFS содержит некоторые данные отчета в формате CSV.

Может ли кто-нибудь указать мне на пример чтения файла из HDFS?

Спасибо.

Answer 1

* * * * * * * * * * * * * * FlatFileItemReader * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *

* * * * * * * * * * * * * * * * * * Все, что поэтому, если у вас есть дескриптор Resource, указывающий на файл HDFS, все готово.

Теперь, чтобы получить ресурс HDFS, вы можете:

• Использовать Spring для Hadoop .После настройки файловой системы HDFS вы сможете получить ресурс из контекста приложения с помощью applicationContext.getResource("hdfs:data.csv");
• Реализация собственного Resource с использованием API Hadoop (как показано в ответе Майкла Саймонса).Я вижу, что некоторые люди уже сделали это здесь

Надеюсь, это поможет.