Как сделать dataframe из данных, хранящихся по ссылке в pyspark? - PullRequest
Новая
       0

Как сделать dataframe из данных, хранящихся по ссылке в pyspark?

0 голосов
/ 08 февраля 2019

Статические данные хранятся по предоставленной ссылке: https://assets.datacamp.com/production/course_4452/datasets/airports.csv

Я использовал urllib для получения данных в строковом формате, затем преобразовал эти данные в rdd, также я использовал toDF (), чтобы создать новый фрейм данныхно я не могу сделать правильный фрейм данных из данных.

1 Ответ

0 голосов
/ 10 февраля 2019

Это сработало для меня: - 

import pandas as pd
airportdata = pd.read_csv("https://assets.datacamp.com/production/course_4452
               /datasets/airports.csv")
df = sqlContext.createDataFrame(airportdata)
df.take(5)
...