SyntaxError: неверный синтаксис при создании DataFrame с ArrayType - PullRequest
Новая
       9

SyntaxError: неверный синтаксис при создании DataFrame с ArrayType

0 голосов
/ 06 сентября 2018

Я хочу создать PySpark DataFrame 

from pyspark.sql import SparkSession
from pyspark.sql.types import *
from pyspark.sql import Row

spark = SparkSession \
    .builder \
    .appName("Test") \
    .master("local[4]") \
    .getOrCreate()

schema = StructType([StructField('id', StringType()), \
                     StructField('timestamp',LongType()), \
                     StructField('coordinates',ArrayType())])
rows = [Row(id="11", timestamp=1523975430000, coordinates = [41.5555, 2.1522])]

df = spark.createDataFrame(rows, schema)

Однако я получаю синтаксическую ошибку SyntaxError: invalid syntax рядом с lat.Я предполагаю, что ArrayType объекты должны быть созданы по-другому.Может ли кто-нибудь помочь мне создать этот фрейм данных df?

Обновление:

Ожидаемый результат: 

id    timestamp       coordinates
11    1523975430000    [41.5555, 2.1522]

1 Ответ

0 голосов
/ 06 сентября 2018

ArrayType нужен тип элементов. Попробуйте: 

schema = StructType([StructField('id', StringType()), \
                     StructField('timestamp',LongType()), \
                     StructField('coordinates',ArrayType(DoubleType()))])
rows = [Row(id="11", timestamp=1523975430000, coordinates = [ 41.5555,  2.1522])]

Результаты: 

+---+-------------+-----------------+
| id|    timestamp|      coordinates|
+---+-------------+-----------------+
| 11|1523975430000|[41.5555, 2.1522]|
+---+-------------+-----------------+
...