Я сейчас работаю над веб-приложением.Требование заключается в том, что пользователь будет загружать файлы Excel или Csv, содержащие большие наборы данных из среды интерфейса.
После загрузки данные будут обрабатываться на основе многих параметров, таких как проверка дублирования, проверки отдельных полей и т. Д. Пользователь должен иметь возможность мгновенно загружать результаты на основе фильтров в виде вновь созданных файлов CSV.
Технологии, которые я использую, - это Hbase для хранения информации о пользователе, такой как имя, адрес электронной почты и т. Д.После того, как данные загружены пользователем, они будут сохранены и обработаны в HDFS.Бэкэнд я написал в веб-фреймворке sparkjava.Теперь я использовал обработчик данных MapReduce.
Для MapReduce я написал несколько классов Mappers, Reducers, Driver на Java, которые присутствуют в одном каталоге проекта, но проблема в том, что я не могуинтегрировать MapReduce с моим бэкэндом.После загрузки данных программы Mapreduce должны запуститься.Я не могу этого сделать.
Может кто-нибудь предложить мне какие-либо идеи по этому поводу.Я новичок в Hadoop, поэтому, пожалуйста, скажите мне, если я делаю что-то не так, и предложите лучшую альтернативу для этого.Любая помощь будет потрясающей.Спасибо.