Как вставить содержимое файла csv в таблицу postgreSQL с помощью pySpark?

Question

Я хочу вставить данные из CSV-файла в таблицу postgreSQL.Я написал код для извлечения данных из файла CSV, как это

myData = spark.read.format("csv").option("header","true").load("D:/sample.csv")

Я получил содержимое файла в переменной 'myData'. Я написал соединение с базой данных, как показано ниже.

url = 'postgresql://myPath';

properties = {
    "user": "postgres",
    "driver": "org.postgresql.Driver",
    "password":""
};

df = DataFrameReader(sqlContext).jdbc(
    url='jdbc:%s' % url, table='pyspark_user', properties=properties
);

Когда я печатаю df, он выглядит примерно так

DataFrame[id: int, firstname: string, lastname: string, email: string, password: string]

Как я могу вставить строки 'myData' в таблицу 'pyspark_user'

Answer 1

myData.write.format('jdbc').options(
      url='jdbc:%s' % url,
      driver='org.postgresql.Driver',
      dbtable='pyspark_user',
      user='postgres',
      password='').mode('append').save()