спарк etl с использованием Pyspark

Question

Как мне принять UUID службы ввода, а затем проверить соответствие значения в столбце UUID службы DataFrame в Pyspark? например, если я введу идентификатор входа как 1be7c239-eef0-4f77-ad4 c -bde82fe23b55, то мне нужна статистика только для этого идентификатора из DataFrame.

Answer 1

Вы можете попробовать это:

service_id = "1be7c239-eef0-4f77-ad4c-bde82fe23b55"
df.createOrReplaceTempView("data")
spark.sql(f"SELECT * from data where service_uuid='{service_id}'").collect() # replace service_uuid with the correct column name

или:

df.filter(df.service_uuid == service_id).collect()