Azure Блоки данных - запись в таблицу Az SQL

Question

Я читаю файл. parquet (полученный из MySql) в блоки данных в виде DataFrame и хотел преобразовать несколько типов данных столбца в SQL типы данных.

Пример :

В этом случае требуется преобразовать столбцы active и is_agent в SQL бит типа данных и записать обратно в новый фрейм данных.

Я хочу провести l oop через все столбцы во фрейме данных и применить приведенное выше приведение, где тип данных исходного столбца - Байт.

Как этого можно добиться с помощью Python.

Answer 1

Хорошо, сделайте это как

from pyspark.sql.functions import col 
from pyspark.sql.types import BooleanType

df = sourceDF.withColumn("active", col("active").cast(BooleanType())).withColumn("is_agent", col("active").cast(BooleanType()))

Мне нужна функция, в которой я передам DataFrame и l oop через весь столбец и приведу столбец байта DataType к BooleanType.