Spark не разрешает отдельные запросы для одних и тех же источников данных в пределах одного SQL-запроса Spark

Question

Давайте рассмотрим пример двух вновь созданных фреймов данных empDF и deptDF. Создать представление

empDF.createOrReplaceTempView("table1")
deptDF.createOrReplaceTempView("table2")

spark.sql("select * from table1 as t1
             join table2 as t2 on (...) where t1.col1 not in 
              (select t3.col2 from table1 as t3)"
         )

Удивительно, но возникает исключение во время выполнения с жалобой на представление table1 или таблицу не существует. Это происходит, когда два разных запроса выполняются для одного и того же источника данных. Могу ли я иметь некоторую идею, пожалуйста.