Как запросить базу данных JDBC в AWS Glue с помощью предложения WHERE с PySpark? - PullRequest
Новая
       29

Как запросить базу данных JDBC в AWS Glue с помощью предложения WHERE с PySpark?

0 голосов
/ 04 апреля 2019

У меня есть собственный скрипт Glue и соединение JDBC, которое хранится в каталоге Glue. Я не могу понять, как использовать PySpark для выполнения оператора select из базы данных MySQL, хранящейся в RDS, на которую указывает мое соединение JDBC. Я также использовал Glue Crawler, чтобы вывести схему таблицы RDS, в которой я заинтересован. Как запросить базу данных RDS с помощью предложения WHERE?

Я просмотрел документацию по DynamicFrameReader и классу GlueContext, но ни один из них, похоже, не указывает мне направление, которое я ищу.

1 Ответ

0 голосов
/ 05 апреля 2019

Это зависит от того, что вы хотите сделать. Например, если вы хотите сделать select * from table where <conditions>, есть два варианта:

Предполагается, что вы создали сканер и вставили источник в задание AWS Glue следующим образом: 

  # Read data from database
    datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "db", table_name = "students", redshift_tmp_dir = args["TempDir"])
  • Клей AWS 
# Select the needed fields
selectfields1 = SelectFields.apply(frame = datasource0, paths = ["user_id", "full_name", "is_active", "org_id", "org_name", "institution_id", "department_id"], transformation_ctx = "selectfields1")
filter2 = Filter.apply(frame = selectfields1, f = lambda x: x["org_id"] in org_ids, transformation_ctx="filter2")
  • PySpark + AWS Клей 
# Change DynamicFrame to Spark DataFrame
dataframe = DynamicFrame.toDF(datasource0)
# Create a view
dataframe.createOrReplaceTempView("students")
# Use SparkSQL to select the fields
dataframe_sql_df_dim = spark.sql("SELECT user_id, full_name, is_active, org_id, org_name, institution_id, department_id FROM assignments WHERE org_id in (" + org_ids + ")")
# Change back to DynamicFrame
selectfields = DynamicFrame.fromDF(dataframe_sql_df_dim, glueContext, "selectfields2")
...