Как получить доступ к DataFrame, созданному с помощью PySpark, используя SparkR? - PullRequest
0 голосов
/ 05 октября 2018

Я создал PySpark DataFrame для Databricks.

%python 
# File location and type
file_location = "/FileStore/tables/file.csv"
file_type = "csv"

# CSV options
infer_schema = "true"
first_row_is_header = "true"
delimiter = ";"

# The applied options are for CSV files. For other file types, these will be ignored.
df1 = spark.read.format(file_type) \
  .option("inferSchema", infer_schema) \
  .option("header", first_row_is_header) \
  .option("sep", delimiter) \
  .load(file_location)

Теперь я хочу использовать df1 с SparkR

%r
library('SparkR')
df1

sparkR не может использовать или найти df1, созданный PySpark.

Error in eval(parse(text = DATABRICKS_CURRENT_TEMP_CMD__)) : 
Error in eval(parse(text = DATABRICKS_CURRENT_TEMP_CMD__)) : 
  object 'df1' not found

Как я могу получить доступ к pySpark Dataframes с помощью sparkR и наоборот?Или каждый Dataframe - это совершенно другой объект?

1 Ответ

0 голосов
/ 05 октября 2018

Вы определили df

df = spark.read.format(file_type) \
  .option("inferSchema", infer_schema) \
  .option("header", first_row_is_header) \
  .option("sep", delimiter) \
  .load(file_location)

Почему вы используете df1 при создании df для фрейма данных?

%r
library('SparkR')
df1

Чтобы ответить на этот вопрос

Как я могу получить доступ к pySpark Dataframes с помощью sparkR и наоборот?Или каждый Dataframe является совершенно другим объектом?

См.

...