Невозможно прочитать таблицу MS SQL, используя pyspark в блокноте jupyter? - PullRequest
Новая
       10

Невозможно прочитать таблицу MS SQL, используя pyspark в блокноте jupyter?

0 голосов
/ 26 июня 2019 
import os
import sys

spark_path = 'C:/opt/spark/spark-2.4.1-bin-hadoop2.7'

os.environ['SPARK_HOME'] = spark_path
os.environ['HADOOP_HOME'] = spark_path

sys.path.append(spark_path + "/bin")
sys.path.append(spark_path + "/python")
sys.path.append(spark_path + "/python/pyspark/")
sys.path.append(spark_path + "/python/lib")
sys.path.append(spark_path + "/python/lib/pyspark.zip")
sys.path.append(spark_path + "/python/lib/py4j-0.9-src.zip")

from pyspark.sql import SparkSession
spark = SparkSession\
    .builder\
    .master('local[*]')\
    .appName('Connection-Test')\
    .config('spark.driver.extraClassPath', 'C:/Users/sqljdbc_4.2.8112.200_enu/sqljdbc_4.2/enu/jre8/sqljdbc42.jar')\
    .config('spark.executor.extraClassPath', 'C:/Users/sqljdbc_4.2.8112.200_enu/sqljdbc_4.2/enu/jre8/sqljdbc42.jar')\
    .getOrCreate()


sqlsUrl = 'jdbc:sqlserver://ip:port;database=dbname'

qryStr = """ (
    SELECT *
    FROM Table
    )  """

spark.read.format('jdbc')\
    .option('url',sqlsUrl)\
    .option('driver', 'com.microsoft.sqlserver.jdbc.SQLServerDriver')\
    .option('dbtable', qryStr )\
    .option("user", "user") \
    .option("password", "password") \
    .load().show()

Произошла ошибка при вызове o50.load.: com.microsoft.sqlserver.jdbc.SQLServerException: неправильный синтаксис рядом с ключевым словом «ГДЕ».в com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDatabaseError (SQLServerException.java:217)

1 Ответ

0 голосов
/ 26 июня 2019

Попробуйте добавить "as Table_Name" в конец вашего запроса 

qryStr = """ (
    SELECT *
    FROM Table
    ) as Table """
...