У меня есть требование к проекту, в котором я должен сначала собрать события, используя flume, и прочитать эти потоковые данные, используя Apache spark streaming для анализа.Примечание. У меня около 200 местоположений сервера, откуда вам нужно прочитать события, все файлы будут в одном формате, но сервер и местоположение будут различаться
Стадия 1. В настоящее время я уже настроил агент чтения, который читаетсяфайл журнала событий со всех серверов (новые данные записываются в журнал) и вредных организмов в централизованное место.Этап 2: На этом этапе я читаю файлы из централизованного местоположения (доступного для потоковой передачи с использованием искры), используя потоковую передачу Apache и выполняю анализ.
Questions:
1. Do we any other Apache to handle the above requirement?
2. Can I connect flume sink to the spark streaming so that centralized location can be avoided,If yes and please share the setup?
3. Can Spark streaming directly read the multiple files from multiple location(across the server)
Please help me
Пожалуйста, ознакомьтесь с этим