Желая лучше понять выходной приемник потоковой памяти Spark Sturctured, в частности варианты управления таблицей памяти, в которую записывает приемник. Пока ограничивается Spark 2.2.1.
С настроенным приемником памяти структурированный потоковый запрос записывает данные в таблицу памяти в качестве вывода. Используя имя запроса, вы можете выполнять операции spark.sql. Мне интересно, если есть способ очистить / удалить содержимое таблицы в памяти. Вызов sql DELETE запрещен.
Кроме того, с режимом добавления и приемником памяти, я предполагаю, что таблица в памяти будет только продолжать расти. Мне интересно, если при использовании полного режима таблица памяти, записанная в приемник, будет полностью перезаписана. Если дело обстоит так, и водяные знаки включены, я могу контролировать размер таблицы в памяти.
Спасибо!