AWS S3 Inventory выведет файл с именем symlinks.txt
symlinks.txt, представляющий собой реализацию SymlinkTextInputFormat
Документация по AWS и Databricks о том, как читать эти файлы в Афину, с упоминанием о том, что это должно быть возможно с Spark, но я не могу подтвердить, что это работает.
- Как правильно читать символические ссылки в формате spark.
- Каким должен быть формат файла, чтобы spark мог видеть файлы?