Передать файл (данные), хранящиеся в HDFS, в запросе POST - PullRequest
0 голосов
/ 19 февраля 2019

Фон

  • У меня есть приложение для потокового воспроизведения (написано в scala), которое считывает потоковые данные с интервалом в 60 секунд.

  • Я анализирую эти данные, и теперь я хочу сохранить эти данные в InfluxDB.

  • Поскольку число записей для каждой партии составляет около 5000, я отправляю каждую запись в InfluxDBотдельно (с использованием InfluxDB HTTP API) занимает много времени.Чтобы избежать этого, я готовлю каждую запись в формате Line Protocol и пишу в файл в HDFS.

Теперь я хочу сделать POST-запрос с этим файлом, содержащим пакет данныхв формате Line Protocol.

curl -i -XPOST "http://localhost:8086/write?db=mydb" --data-binary @data.txt

Я пытался заменить «data.txt» на hdfs url файла, но, похоже, он не работает.

Не могли бы вы дать мне совет?о том, как отправлять файлы, хранящиеся в HDFS, в POST-запросе.

...