Как правильно go удалить файлы, созданные с использованием структурированного потокового приемника spark и имеющие ссылку в файле _spark_metadata? Если я удаляю файл, он все равно будет указан в _spark_metadata и вызовет ошибку при использовании Spark SQL для запроса папки root, в которой находился исходный файл. Является ли единственным решением вручную удалить ссылку из файла _spark_metadata? Есть ли лучший автоматизированный процесс?