Я пытаюсь сделать что-то простое здесь.Получите строки из pyodbc и используйте их в качестве входных данных для создания фрейма данных
import pyodbc
import sys
import csv
connection = pyodbc.connect("DSN=MySQL")
cursor = connection.cursor()
cursor.execute("SELECT * FROM customers")
rows = cursor.fetchall()
column_names = [x[0] for x in cursor.description]
print(rows)
print(column_names)
df = spark.createDataFrame(rows,column_names)
Но я получаю следующую трассировку:
raise TypeError("Can not infer schema for type: %s" % type(row))
TypeError: Can not infer schema for type: <class 'pyodbc.Row'>
Есть идеи, что мне здесь не хватает?