Мы все используем заказные трансформаторы и оценщики в наших трубопроводах Spark.Создание трансформатора или оценщика довольно просто с точки зрения использования значения / параметра / метода.Например, в случае трансформаторов:
- Использовать набор параметров
- Использовать их методы set / get
- Использовать transformer, transformerSchema и методы копирования.
Мой вопрос здесь, каковы общие шаги TDD для написания трансформаторов?Приемочный тест понятен, получите этот DataFrame и верните этот DataFrame с этой схемой;однако это не обеспечивает полного покрытия тестами.