HDFS - файловая система. HDFS означает Had oop Distributed File system. Это часть экосистемы Apache Had oop. Подробнее о HDFS
ADLS - это хранилище Azure от Microsoft. ADLS означает Azure Data Lake Storage. Он обеспечивает формат файлов распределенного хранения для обработки больших объемов данных.
- ADLS имеет внутренний формат распределенной файловой системы, называемый Azure Blob File System (ABFS). Кроме того, он также предоставляет аналогичный API интерфейса файловой системы, такой как Had oop, для адресации файлов и каталогов внутри ADLS с использованием схемы URI. Таким образом, приложениям, использующим HDFS, проще перейти на ADLS без изменения кода. Для клиентов, обращающихся к HDFS с помощью драйвера HDFS, аналогичный опыт достигается при доступе к ADLS с помощью драйвера ABFS.
Azure Data Lake Storage Gen2 URI
Драйвер файловой системы Had oop, совместимый с Azure Data Lake Storage Gen2, известен по идентификатору схемы abfs (Azure файловая система BLOB-объектов). В соответствии с другими драйверами файловой системы Had oop, драйвер ABFS использует формат URI для адресации файлов и каталогов в учетной записи с поддержкой Data Lake Storage Gen2.
Подробнее о Azure Data Lake Хранилище
Имел oop совместимый доступ: Data Lake Storage Gen2 позволяет управлять данными и получать к ним доступ точно так же, как с распределенной файловой системой Had oop (HDFS). Новый драйвер ABFS доступен во всех средах Apache Had oop, включая Azure HDInsight, Azure Databricks и Azure Synapse Analytics для доступа к данным, хранящимся в Data Lake Storage Gen2.
ОБНОВЛЕНИЕ также, прочтите также о Had oop совместимой файловой системе (HCFS), которая гарантирует, что API распределенной файловой системы (например, Azure Blob Storage) соответствует набору требований для работы с Apache Имел экосистему oop, аналогичную HDFS. Подробнее о HCFS