спарк разделяет кешированную память между разными заданиями в одном контексте

Question

В сервере заданий spark мы можем создавать контекст и делиться этим контекстом между разными заданиями. В настоящее время я хочу выполнить одно и то же задание несколько раз в одном контексте, мой вопрос заключается в том, могу ли я загрузить данные в первый раз и сохранить их в кэш-памяти или сохранить в памяти, в следующий раз, когда я просто загружу память формы.

Как я могу это сделать?

Answer 1

Я нахожу способ следующим образом:

if (spark.sparkContext.getPersistentRDDs.isEmpty) {
      ts.createOrReplaceTempView(tableName)
      spark.sqlContext.cacheTable(tableName)
}

В настоящее время вопрос заключается в том, как я могу проверить дату кэшированных данных?Если я могу получить дату, я могу заменить кэшированные данные в соответствии с датой.