Как получить доступ к DataFrame, созданному с помощью PySpark, используя SparkR?

Question

Я создал PySpark DataFrame для Databricks.

%python 
# File location and type
file_location = "/FileStore/tables/file.csv"
file_type = "csv"

# CSV options
infer_schema = "true"
first_row_is_header = "true"
delimiter = ";"

# The applied options are for CSV files. For other file types, these will be ignored.
df1 = spark.read.format(file_type) \
  .option("inferSchema", infer_schema) \
  .option("header", first_row_is_header) \
  .option("sep", delimiter) \
  .load(file_location)

Теперь я хочу использовать df1 с SparkR

%r
library('SparkR')
df1

sparkR не может использовать или найти df1, созданный PySpark.

Error in eval(parse(text = DATABRICKS_CURRENT_TEMP_CMD__)) : 
Error in eval(parse(text = DATABRICKS_CURRENT_TEMP_CMD__)) : 
  object 'df1' not found

Как я могу получить доступ к pySpark Dataframes с помощью sparkR и наоборот?Или каждый Dataframe - это совершенно другой объект?

Answer 1

Вы определили df

df = spark.read.format(file_type) \
  .option("inferSchema", infer_schema) \
  .option("header", first_row_is_header) \
  .option("sep", delimiter) \
  .load(file_location)

Почему вы используете df1 при создании df для фрейма данных?

%r
library('SparkR')
df1

Чтобы ответить на этот вопрос

Как я могу получить доступ к pySpark Dataframes с помощью sparkR и наоборот?Или каждый Dataframe является совершенно другим объектом?

См.

• Различия : https://databricks.com/blog/2016/12/28/10-things-i-wish-i-knew-before-using-apache-sparkr.html и
  
• Операции с фреймом данных Spark & ​​R с SparkR : https://www.codementor.io/jadianes/spark-r-data-frame-operations-sql-du1080rl5