Как импортировать и обрабатывать все файлы из контейнера хранилища BLOB-объектов в лазурные блоки данных

Question

Я работаю с лазурными блоками данных и хранилищем BLOB-объектов.У меня есть учетная запись хранения, которая хранит данные с устройств IOT за каждый час.поэтому структура папок {год / месяц / день / час} хранит данные в виде csv файлов.Мое требование: мне нужен ежедневный доступ к файлам из лазурных блоков данных (таким образом, будет 24 папки, начиная с 0-23), и мне нужно выполнить некоторые вычисления.

Answer 1

Чтобы обработать много файлов в контейнере wasb, вам нужно использовать шаблоны глобусов Hadoop Input Format.Ниже приведены шаблоны, несколько похожие на регулярные выражения:

* (match 0 or more character)
? (match single character)
[ab] (character class)
[^ab] (negated character class)
[a-b] (character range)
{a,b} (alternation)
\c (escape character)

В вашем случае должно работать следующее:

df = spark.read.format("csv").load("/container/*/*/*/*.csv")