Я посмотрел документацию по ссылке ниже, и кажется, что именно так вы создаете фрейм данных из списка в Databricks.
from pyspark.sql import *
details = [(name,cluster) for name, cluster in zip(scaledData,predictions)]
details_df = spark.createDataFrame(details)
Когда я пытаюсь запустить приведенный выше код, я получите эту ошибку.
AssertionError: dataType <py4j.java_gateway.JavaMember object at 0x7f4efe8dca58> should be an instance of <class 'pyspark.sql.types.DataType'>
Если кто-то здесь попробовал это и заставил работать, пожалуйста, поделитесь со мной некоторыми знаниями.
https://docs.databricks.com/spark/latest/dataframes-datasets/introduction-to-dataframes-python.html