Pyspark: как преобразовать массив строк в кадре данных в массив временных отметок - PullRequest
Новая
       41

Pyspark: как преобразовать массив строк в кадре данных в массив временных отметок

0 голосов
/ 30 января 2020

Я запускаю простой запрос, чтобы получить cook ie в виде строки и метки времени в виде массива, используя pyspark sql. Я хочу передать их моей пользовательской функции, но массив временных меток передается как массив юникодов. Может кто-нибудь помочь мне понять это. Спасибо 

@udf(returnType=StringType())
def PrintDetails(cookie, timestamps, current_day, current_hourly_threshold,current_daily_threshold):
    print(type(timestamps[0]))
def main(argv):
    spark = SparkSession \
        .builder \
        .appName("parquet_test") \
        .config("spark.debug.maxToStringFields", "100") \
        .getOrCreate()

    inputPath = r'D:\Hadoop\Spark\parquet_input_files'
    inputFiles = os.path.join(inputPath, '*.parquet')

    impressionDate =  datetime.strptime("2019_12_31", '%Y_%m_%d')
    current_hourly_threshold = 40
    current_daily_threshold = 200

    parquetFile = spark.read.parquet(inputFiles)
    parquetFile.createOrReplaceTempView("parquetFile")
    cookie_and_time = spark.sql("SELECT cookie, collect_list(date_format(from_unixtime(ts), 'YYYY-MM-dd-hh:mm:ss'))  as imp_times FROM parquetFile group by 1  ")

    cookie_df = cookie_and_time.withColumn("cookies", PrintDetails(cookie_and_time['cookie'], cookie_and_time['imp_times'], lit(impressionDate), lit(current_hourly_threshold), lit(current_daily_threshold)))
    cookie_df.show()

if __name__ == "__main__":
    main(sys.argv)
...