Я пытаюсь присоединить таблицу к себе. Я получаю строки таблицы, затем по второму запросу снова получаю строки (так что они могут быть или не быть одинаковыми строками) и ограничиваю каждую из них 10 строками в каждой. Я могу показать каждый из наборов результатов, но когда я присоединяюсь к ним, Scala просто зависает, а затем время ожидания. В чем может быть проблема?
override def joinMe(): Unit = {
val conf: Config = ConfigFactory.load()
val options = SparkOptions.createOptions(conf.getString("dashDb.driver"),
conf.getString("dashDb.url"),
conf.getString("dashDb.username"),
conf.getString("dashDb.password"),
"1000",
conf.getString("dashDb.dbTable")
)
val sourceDF = JdbcRepository.read(options).limit(10)
sourceDF.show()
val targetDF = sourceDF
targetDF.show()
sourceDF.join(
targetDF,
sourceDF("EMPLOYEE_CNUM_ID") === targetDF("EMPLOYEE_CNUM_ID")
).show(10)
}
но я получаю эту ошибку:
Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]
Спасибо за ваше время!