У меня есть kafka для записи команды в формат паркета в режиме добавления в "location1", который является местоположением создания таблицы паркета. Стол для паркета был в состоянии запросить данные в первый раз. Затем я сделал 2-ю загрузку. Когда я проверяю расположение папки для паркета, файлы должным образом сохраняются даже для второй загрузки. Я даже могу прочитать данные 1-й и 2-й загрузки из "location1" в виде информационного кадра и показать их.
Но пока я выбираю запрос к таблице, новые записи не отображаются, появляются только первые записи загрузки.
Я попытался восстановить таблицу msck, spark.catalog.refreshTable ("tablename "), Refre sh имя таблицы. Но все еще нет надежды. Пожалуйста, совет ..