Не уверен, как можно создавать внешние таблицы с помощью Spark Connector, но обычно я создаю стадию в снежинке с использованием Blob Storage или S3 Bucket, и вы можете работать с ней как с локальным файлом. Что можно использовать в ваших запросах с использованием искрового коннектора, также любой новый файл на этапе (BlobStorage / S3 Bucket) будет доступен через такой запрос, как:
SELECT * FROM @"STAGE_NAME"/example.json;
Я не уверен, что это может помочь, я не знаю, как вы пытаетесь его применить. Но если это так, я буду рад привести здесь пример.