Есть проблема с концепцией в pyspark.
У меня есть 2 кадра данных: 1. Назначение df - есть много разных столбцов, все пустые, кроме столбца id 2. Информация df - имеет 3 столбца: id, feature, value.
Исходное состояние:
Теперь я хочу передать значения из информации df в df назначения, как показано здесь:
Желаемое состояние: 
Как работать с ним на pyspark с использованием фреймов данных?
Несколько условий, которые необходимо знать:
- Назначение df может быть изменено во время - могут быть добавлены или удалены столбцы объектов .
- Количество объектов в назначении df превышает 1000, не может записывать в жестком коде все типы объектов,нужно динамическое решение.