Создание, удаление таблиц в Mariadb с помощью Pyspark - PullRequest
Новая
       4

Создание, удаление таблиц в Mariadb с помощью Pyspark

0 голосов
/ 03 июля 2019

Мой искровой фрейм данных был преобразован в таблицу в Mariadb с использованием следующего кода Pyspark и создал локальное представление для выполнения запроса. 

data.write.format('jdbc').options(url = 'URL_Details',dbtable = 'tablename',user='myself',password='mypass123' ).save()

testDF = sqlContext.read.format("jdbc").option("url", 'URL_Details').option("dbtable", tablename).load()

testDF.createOrReplaceTempView("test_view")

result = sqlContext.sql('''select  Firstname, Lastname, Age, Address from test_view''')

Мне нужно удалить эту же таблицу после выполнения требуемых запросов.Но я могу удалить только представление, созданное локально в pyspark.Как бросить созданную таблицу в Mariadb?Или есть способ создать временную таблицу, которая автоматически удаляется после завершения задачи?

...