Как извлечь имя столбца и тип столбца из SQL в pyspark - PullRequest
Новая
       11

Как извлечь имя столбца и тип столбца из SQL в pyspark

0 голосов
/ 30 мая 2019

Запрос Spark SQL for Create похож на this - 

CREATE [TEMPORARY] TABLE [IF NOT EXISTS] [db_name.]table_name
  [(col_name1 col_type1 [COMMENT col_comment1], ...)]
  USING datasource
  [OPTIONS (key1=val1, key2=val2, ...)]
  [PARTITIONED BY (col_name1, col_name2, ...)]
  [CLUSTERED BY (col_name3, col_name4, ...) INTO num_buckets BUCKETS]
  [LOCATION path]
  [COMMENT table_comment]
  [TBLPROPERTIES (key1=val1, key2=val2, ...)]
  [AS select_statement]

, где [x] означает x необязательно. Я хочу вывод в виде кортежа следующего порядка, если передан запрос CREATE sql - 

(db_name, table_name, [(col1 name, col1 type), (col2 name, col2 type), ...])

Так есть ли способ сделать это с помощью функций pyspark sql или вам нужна помощь от regex?

Если регулярное выражение может кто-нибудь помочь с регулярным выражением?

1 Ответ

2 голосов
/ 31 мая 2019

Это может быть сделано путем доступа к неофициальному API через java_gateway: 

plan = spark_session._jsparkSession.sessionState().sqlParser().parsePlan("CREATE TABLE foobar.test (foo INT, bar STRING) USING json")
print(f"database: {plan.tableDesc().identifier().database().get()}")
print(f"table: {plan.tableDesc().identifier().table()}")
# perhaps there is a better way to convert the schemas, using JSON string hack here
print(f"schema: {StructType.fromJson(json.loads(plan.tableDesc().schema().json()))}")

Выход: 

database: foobar
table: test
schema: StructType(List(StructField(foo,IntegerType,true),StructField(bar,StringType,true)))

Обратите внимание, что database().get() потерпит неудачу, если база данных не определена и опция Scala должна быть обработана правильно. Также, если вы используете CREATE TEMPORARY VIEW, методы доступа называются по-разному. Команды можно найти здесь https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/ddl.scala#L38 https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/ddl.scala#L58

...