Задание прервано из-за сбоя этапа: при преобразовании фрейма данных искры в Pandas фрейм данных - PullRequest
Новая
       81

Задание прервано из-за сбоя этапа: при преобразовании фрейма данных искры в Pandas фрейм данных

0 голосов
/ 14 апреля 2020

Я выполняю приведенный ниже скрипт в записной книжке Azure. 

spark.conf.set("spark.sql.execution.arrow.enabled", "false")
jdbcDF = spark.read.format("jdbc") \
.option("url", f"jdbc:sqlserver://{ServerName};databaseName={DBName};") \
.option("user", User) \
.option("password", Password) \
.option("query","SELECT col1,col2,col3......col30 from A except SELECT col1,col2,col3......col30 from B ") \
.load()
df=jdbcDF.toPandas()

Я пытаюсь сохранить набор результатов в DF и преобразовать в pandas DF для выполнения некоторых операций. .

При преобразовании DF в pandas DF появляется следующая ошибка. я не мог выбрать ни одного столбца из того же DF даже до преобразования его в Pandas DF.

ПРИМЕЧАНИЕ. Запрос в БД работает нормально.

Ошибка: org. apache .spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 1985.0 не выполнено 4 раза, последний раз ошибка: потерянная задача 0.3 на этапе 1985.0 (TID 57569, 10.139.64.12, исполнитель 15): com.microsoft.sqlserver.jdb c .SQLServerException: преобразование не удалось преобразовать значение nvarchar 'Aug' в тип данных int.

Может кто-нибудь помочь мне с этой ошибкой?

Спасибо, Prashanth

...