Использование местоположения подразумевает, что созданная таблица через Spark будет рассматриваться как внешняя таблица.
Из руководства: https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-table.html. Вы также можете сослаться на это: https://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html
LOCATION
Созданная таблица использует указанный каталог для хранения своих данных. Это предложение автоматически подразумевает EXTERNAL.
Более явно:
// Prepare a Parquet data directory
val dataDir = "/tmp/parquet_data"
spark.range(10).write.parquet(dataDir)
// Create a Hive external Parquet table
sql(s"CREATE EXTERNAL TABLE hive_bigints(id bigint) STORED AS PARQUET LOCATION '$dataDir'")
// The Hive external table should already have data
sql("SELECT * FROM hive_bigints").show()
Кроме того, не имеет никакого отношения к pyspark.
Если используется искатель Dataframe Writer, то Опция «путь», используемая ниже, означает неуправляемый и, следовательно, внешний.
df.write.mode("OVERWRITE").option("path", unmanagedPath).saveAsTable("myTableUnmanaged")