Можно ли загрузить два разных файла CSV в виде двух структурированных потоков (две таблицы) в рамках одного сеанса искры

Question

Я хотел бы подтвердить, можно ли / хорошо читать два разных файла CSV как структурированные потоки в два разных потоковых кадра данных?

Например.

File1.csv (будет продолжаться в разных частях в Folder1) File2.csv (будет поступать в разных частях в Folder2)

Я создаю два кадра данных, читая вышеупомянутые, т.е. Table1DF и Table2DFи затем выполнить некоторые преобразования, используя Spark SQL, используя Table1DF и Table2DF

Я хочу сделать это как часть одного сеанса искры

Answer 1

Да, вы можете сделать это.Там будет 2 разных потоковых запросов.Вы можете создать столько потоковых запросов, но если один из них завершится неудачей, он остановит всю работу и, следовательно, повлияет на другие потоковые запросы.