Я пытаюсь использовать структурированную потоковую передачу Spark (версия 2.3.1) с использованием пользовательского источника данных v2 с интерфейсом SupportsPushDownRequiredColumns, и я получаю «Нет плана для EventTimeWatermark».Это происходит при использовании функции удаления столбцов.
Я посмотрел на документацию 2.4.0 класса DataSourceV2Relation и заметил, что в комментарии к классу StreamingDataSourceV2Relation написано: «Обратите внимание, что в этом плане есть изменяемый читатель, поэтому Spark выиграл»t применить оператор «push-down» для этого плана ».
Итак, поддерживает ли приложение структурированной потоковой передачи« спуск »столбцы сокращения?