Как преобразовать значение String в arrayType в pyspark

Question

У меня есть столбец, как показано ниже в pyspark dataframe, тип String:

Теперь я хочу преобразовать их в ArrayType[Long] как я могу это сделать?

Answer 1

Вы должны проанализировать как строку и использовать функцию split для создания массива

df.withColumn('cat_list',split(regexp_replace(col('cat_list'), '\[|\]',''),',').cast('array<float>').cast('array<long>'))