как сделать параллельное соединение с терадатами используя Spark SQL - PullRequest
Новая
       23

как сделать параллельное соединение с терадатами используя Spark SQL

0 голосов
/ 16 сентября 2018

Я пытаюсь вставить Spark DataFrame в таблицу Teradata, используя соединение spark sql jdbc.

Код: 

properties = {
    "TMODE","TERA",
    "TYPE","FASTLOAD"
}
jdbcUrl = "jdbc:teradata://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}?user=${jdbcUsername}&password=${jdbcPassword}"
df.write.jdbc(url=jdbcUrl, table="someTable", mode='append', properties=properties)

Но когда я выполняю задание, на нем запускается только один исполнитель и одно соединение с teradata.

Как выполнить параллельное соединение с Teradata, какое свойство необходимо включить для создания нескольких параллельных соединений с Teradata?

Обновление:

Я просматривал этот блог, посвященный строкам данных, в нем говорится, что в зависимости от количества разделов в DataFrame будет создано несколько соединений.

https://docs.databricks.com/spark/latest/data-sources/sql-databases.html

...