У меня есть файл со структурой ниже
имя, адрес, город, штат, страна, описание
Я пытаюсь ввести данные указанного выше файла в таблицу postgresql, которая имеет структуру ниже
имя, адрес, город, штат, страна, описание, serach_record (тип данных tsvector)
Я пробовал приведенный ниже код -
input_df.createOrReplaceTempView("file_view")
tsvector_sql = "SELECT f.*, (to_tsvector(address) || to_tsvector(country) || to_tsvector(description)) as serach_record from file_view f"
df = spark.sql(tsvector_sql)
def writeToDatabase(dataframe):
table = "test_table"
dataframe.write.format('jdbc').options(
stringtype='unspecified',
url= url,
driver=driver,
dbtable=table,
user=user,
password=password).mode('append').save()
writeToDatabase(df)
Но Я получаю сообщение об ошибке
Undefined function: 'to_tsvector'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'
Есть ли способ вставить значение столбца типа tsvector в postgresql из Pyspark?