Я использую Azure Data Bricks и пытаюсь придумать, как написать код PySpark для перебора шаблонов букв и цифр.У меня есть несколько файлов, которые выглядят так:
starts like this...
ABS0630.N.006134.gz
ABS0630.N.006135.gz
etc., etc., etc
ends like this...
ABS0630.J.000157.gz
ABS0630.J.000158.gz
АБС остается неизменным, а 0630 - 30 июня.Есть ли какой-то грубый способ создать цикл, который повторяет шаблоны букв и цифр, и если шаблон соответствует имени файла в нашем озере данных, файл загружается в таблицу в SQL Server?Таблица и связанная с ней схема настроены на стороне SQL Server.Если я использую ADF для загрузки по одному, все работает нормально.Я просто не могу понять, как перебирать файлы, а сотни файлов в день ... иногда более тысячи файлов в день.Подстановочные знаки, такие как «*» и «?»не работают по какой-то странной причине ... Все, что я получаю, это странные ошибки, когда я пытаюсь использовать символы подстановки.
Я пытаюсь использовать ADF для копирования всех этих файлов в мою базу данных SQL Server.
Буду признателен за любую помощь в этом.Спасибо !!