K SQL: потеря данных Kstream после перезапуска сервера K SQL - PullRequest
Новая
       35

K SQL: потеря данных Kstream после перезапуска сервера K SQL

0 голосов
/ 24 февраля 2020

Я создал поток, используя запрос "Создать поток base_stream с помощью (kafka-topi c =" myTopi c ", format =" avro "). Этот topi c имеет более 800 ГБ данных и растет .

Вопросы:

  1. Копирует ли Кафка данные из базовой топи c в новом потоке? Или это просто те же данные?

  2. base_stream потерял свои данные, когда сервер K SQL перезапустился. Есть ли способ сохранить эти данные? Потому что, если base_stream необходимо повторно синхронизировать / заново создавать каждый раз, когда K SQL сервер перезапускается, что может занять много часов!

  3. Я знаю, что постоянный поток может быть создан из "base_stream", однако мы будем дублировать данные в 2 потоки

Спасибо за ваш ответ, спасибо!

1 Ответ

0 голосов
/ 24 февраля 2020

Я знаю, что постоянный поток может быть создан из "base_stream", однако мы будем дублировать данные в 2 потока

Хранилище дешево. Я видел темы, которые много туберкулеза большие. Если вы можете сгенерировать совокупность windows с течением времени, чтобы уменьшить размер, вы можете включить сжатие, а также политики хранения для topi c

base_stream потеряли свои данные, когда K SQL сервер перезапущен. Есть ли способ сохранить эти данные?

Вы создали поток поверх существующей топи c. Нет реальных данных, которые поддерживает поток, которые нужно восстановить или потерять, что отвечает на вопрос 1

...