Переименуйте столбцы в spark, используя @JsonProperty при создании наборов данных

Question

Есть ли способ переименовать имена столбцов в наборе данных с использованием аннотаций Джексона при создании набора данных?

Мой класс кодировщика выглядит следующим образом:

import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.*;
import scala.Serializable;
import javax.persistence.Table;

      @Builder 
      @Data 
      @AllArgsConstructor
      @EqualsAndHashCode 
      @Table(name = "sample_table")
      public class SampleRecord implements Serializable {
         @JsonProperty("sample_id")
         private Long sampleId;
         @JsonProperty("sample_name")
         private String name;
         @JsonProperty("sample_desc")
         private String description; 
      }

Моя цель - переименовать столбцы в соответствии с @JsonProperty, чтобы я мог повторно использовать те же функции класса и json.

Пожалуйста, найдите связанные версии модулей: - Spark: 2.4.0 (со Скала 2.11) - jackson-module-scala_2.11: 2.9.6

Дайте мне знать, если вам нужна дополнительная информация. Помощь приветствуется.

Answer 1

Интересная идея. Как бы я это сделал:

1. Вставьте ваши данные в фрейм данных.
2. Напишите вспомогательный метод, который принимает фрейм данных и имя класса (здесь SampleRecord).
3. Используйте интроспекцию для чтения аннотаций (вы можете добавить их, если вам нужно определить конкретные свойства).
4. Переименуйте столбцы с помощью withColumnRenamed () на фрейме данных.
5. Возвращает измененный фрейм данных.

Е.И.В.