Это просто для того, чтобы вы могли передавать несколько аргументов напрямую, используя список, кортеж или словарь в вашем случае.
Итак, вместо того, чтобы сказать:
flights.write.format("com.microsoft.azure.cosmosdb.spark")\
.option("Endpoint", "https://doctorwho.documents.azure.com:443/")\
.option("Upsert", "true")\
.option("Masterkey", "YOUR-KEY-HERE")\
...etc
У вас просто есть все аргументы в словаре, а затем они передаются следующим образом
flights.write.format("com.microsoft.azure.cosmosdb.spark").options(
**yourdict).save()