Я использую hadoop-azure для доступа к экземпляру Azure файловой системы BLOB (ABFS), особенно когда я пытаюсь перечислить все файлы / каталоги по указанному пути c, он обычно работает для обычных каталогов с ограниченным числом файлов / каталогов.
Я пришел к случаю, когда путь содержит слишком много записей (тысяч), метод AzureBlobFileSystem.listStatus(path) никогда не возвращается.
Хорошо работает, когда количество файлов / каталоги не большие. Интересно, смогу ли я решить эту проблему, могу ли я улучшить или настроить этот список, чтобы он был быстрее или эффективнее. Есть ли какая-либо конфигурация oop для использования?