Как pyspark читает из каталога, находящегося под капотом?
Спрашивает, потому что есть ситуация, когда я пытаюсь прочитать из каталога, а затем записать в это же место позже в режиме перезаписи. При этом выдается java.io.FileNotFoundException ошибок (даже при ручном размещении файлов в каталоге), и я предполагаю, что это чтение и перезапись в причине, поэтому мне любопытно, какой основной процесс, который используется в spark для чтения из каталога, и что может бытьпроисходит, когда я пытаюсь переписать тот же самый каталог.