Мой UseCase:
Скопируйте файлы (или содержимое файла) из папки Windows в файловую систему Linux Spark / Hadoop с помощью простого преобразования в верхнем регистре
В Windows у меня установлен и запущен RabbitMQ. Он также запускает spring-cloud-dataflow-server-local-1.7.4.RELEASE.jar serve r.
Linux работает на ВМ (с IP 192.168.32.134). На нем установлены Spark и Hadoop.
Я создал следующие два потока на сервере потоков данных:
а)
http --port = 7272 | transform - expression = payload.toUpperCase () | hdfs --fs-uri = hdfs: //192.168.32.134: 9000
и
б)
`file --directory = C: / dataflow-input | transform - expression = payload.toUpperCase () |` hdfs --fs-uri = hdfs: //192.168.32.134: 9000
and both streams deployed.
а)
Когда я позвонил POST 127.0.0.1:7272 из Windows с BODY "hello from webservice",, я надеялся, что он окажется где-то в HDFS.
до б)
Если у меня есть файл, например hello.txt в папке C: / dataflow-input ожидалось, что она будет передана в Hadoop.
Оба не работали.
Являются ли они правильными инструментами для удовлетворения UseCase?
Кто-нибудь знает рабочий учебник?
На втором этапе это следует затем программно использовать с платформой Spring.
Спасибо за помощь