Есть ли способ в Python ограничить dbutils.fs.ls на верх - PullRequest
0 голосов
/ 03 декабря 2018

Есть ли способ задать ограничение для функции ls.Я знаю, что вы можете прочитать, а затем ограничить количество записей, но это не решает мою проблему.проблема в том, что когда наш сервис не работает в выходные дни, может случиться так, что в хранилище больших двоичных файлов окажется более 2000 КБ.Мы решили обработать их партиями по 50000, чтобы мы увидели некоторое движение.Но ls легко занимает до 30 минут и имеет в начале слишком много файлов, которые мы не обрабатываем.Поэтому ограничение ls помогло бы нам. Мы не заботимся о порядке, просто не хотим, чтобы размер партии был слишком большим.

Так что любые предложения приветствуются.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...