Почему Scala Join Timing Out? - PullRequest
0 голосов
/ 02 июля 2018

Я пытаюсь присоединить таблицу к себе. Я получаю строки таблицы, затем по второму запросу снова получаю строки (так что они могут быть или не быть одинаковыми строками) и ограничиваю каждую из них 10 строками в каждой. Я могу показать каждый из наборов результатов, но когда я присоединяюсь к ним, Scala просто зависает, а затем время ожидания. В чем может быть проблема?

override def joinMe(): Unit = {
val conf: Config = ConfigFactory.load()

val options = SparkOptions.createOptions(conf.getString("dashDb.driver"),
  conf.getString("dashDb.url"),
  conf.getString("dashDb.username"),
  conf.getString("dashDb.password"),
  "1000",
  conf.getString("dashDb.dbTable")
)
val sourceDF = JdbcRepository.read(options).limit(10)

sourceDF.show()

val targetDF = sourceDF

targetDF.show()

sourceDF.join(
  targetDF,
  sourceDF("EMPLOYEE_CNUM_ID") === targetDF("EMPLOYEE_CNUM_ID")
).show(10)
}

но я получаю эту ошибку:

Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]

Спасибо за ваше время!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...