Краткий ответ - НЕТ. Причина в том, что RDD или Dataframe является неизменной структурой данных. После того как вы создали RDD / Dataframe, вы не сможете добавить эту структуру данных.
Когда вы читаете данные в каталоге, в RDD создается spark, который отслеживает разделы в прочитанных данных. Этот СДР тогда не является изменчивым. Таким образом, spark продолжит выполнение с разделами, найденными при запуске
Альтернативой этому является использование искровой потоковой передачи, при которой новые данные обнаруживаются при добавлении в каталог.