Как передавать только новые данные (недавно добавленные) из старого файла в структурированную потоковую передачу искры?

Question

У меня есть несколько файлов, которые записаны кусками, и я хочу, чтобы мой поток обрабатывал новые данные каждого файла каждый раз, когда данные добавляются. Также я хочу, чтобы мой Stream читал только новые файлы, а не уже обработанные файлы. Мы будем благодарны за помощь.

Answer 1

Невозможно в качестве прямого источника.

1. Необходимо использовать метод «хвоста» Flume и поместить этот хвост в каталог HDFS в виде файла и позволить Spark Structured Streaming следить за этим каталогом.

2. Или вы можете использовать такие вещи, как NIFI.