Преобразование столбца двоичной строки в int во фрейме данных Spark python

Question

Итак, у меня есть фрейм данных с одним столбцом вроде этого:

+----------+
|some_colum|
+----------+
|        10|
|        00|
|        00|
|        10|
|        10|
|        00|
|        10|
|        00|
|        00|
|        10|
+----------+

, где столбец some_colum - это двоичные строки.

Я хочу преобразовать этот столбец в десятичный.

Я пробовал делать

data = data.withColumn("some_colum", int(col("some_colum"), 2))

Но, похоже, это не работает. когда я получаю сообщение об ошибке:

int() can't convert non-string with explicit base

Я думаю, что cast () может выполнить эту работу, но я не могу ее понять. Есть идеи?

Answer 1

Я думаю, что int нельзя применить непосредственно к столбцу. Вы можете использовать в udf:

from org.apache.spark.sql import functions
binary_to_int = functions.udf(lambda x: int(x, 2), IntegerType())
data = data.withColumn("some_colum", binary_to_int("some_colum").alias('some_column_int'))