Я собираю потоковые данные и вставляю их в папку HDFS.В определенное время я получаю данные (10000 записей) от kafka (скажем, в 11.00), и мне нужно объединить их и вставить в HDFS.Поэтому, когда следующие данные поступают в 11.01, мне нужно агрегировать только эти записи без учета какого-либо WINDOW.
Когда я пытаюсь сделать то же самое в потоковой передаче с искровой структурой, я получаю следующую ошибку
org.apache.spark.sql.AnalysisException: Append output mode not supported when there are streaming aggregations on streaming DataFrames/DataSets without watermark;;
Есть ли способ добиться вставки данных в папку HDFS без водяного знака / окна?пожалуйста предложите / помогите