как найти файлы, обработанные в потоковой передаче искрового файла - PullRequest
0 голосов
/ 08 января 2020

У меня настроено приложение структурированной потоковой передачи, которое отслеживает папку в хранилище BLOB-объектов на наличие новых файлов и выполняет их обработку. Он работает хорошо, и я могу контролировать и кластеризовать работоспособность, просматривать входящие записи, выходные записи и т. Д. c. и др c. Но я действительно хочу посмотреть, есть ли какой-нибудь журнал, в котором говорится, что имя файла, который был обработан, или х число обработанных записей из этого файла.

любые указатели будут полезны.

1 Ответ

0 голосов
/ 08 января 2020

Имена файлов, которые были обработаны, сохраняются в настроенной контрольной точке потока, такой как .option("checkpointLocation", "dbfs://checkpointPath").

Для мониторинга того, сколько входных строк было фактически обработано потоком, посмотрите StreamingQueryListener .

...