Как заполнить столбец типа данных tsvector в postgresql из pyspark - PullRequest
0 голосов
/ 04 августа 2020

У меня есть файл со структурой ниже

имя, адрес, город, штат, страна, описание

Я пытаюсь ввести данные указанного выше файла в таблицу postgresql, которая имеет структуру ниже

имя, адрес, город, штат, страна, описание, serach_record (тип данных tsvector)

Я пробовал приведенный ниже код -

input_df.createOrReplaceTempView("file_view")

tsvector_sql = "SELECT f.*, (to_tsvector(address) || to_tsvector(country) || to_tsvector(description)) as serach_record from file_view f"

df = spark.sql(tsvector_sql)

def writeToDatabase(dataframe):
    table = "test_table"
    dataframe.write.format('jdbc').options(
      stringtype='unspecified',
      url= url,
      driver=driver,
      dbtable=table,
      user=user,
      password=password).mode('append').save()

writeToDatabase(df)

Но Я получаю сообщение об ошибке

Undefined function: 'to_tsvector'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'

Есть ли способ вставить значение столбца типа tsvector в postgresql из Pyspark?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...