Confluent Cloud Чрезмерное использование

Question

Мы используем довольно ванильный экземпляр Confluent Cloud для внутреннего тестирования. Поскольку это облачное хранилище, они дают вам статистику того, сколько данных вы просматриваете за месяц. К сожалению, нет подробной статистики - только байты в их экземпляре, байты вне их экземпляра и хранилище. Мы передали около 2 МБ данных, которые там хранятся, но наши передачи являются чрезмерными, примерно до 4 ГБ в день. У нас не так много потребителей, и они все в курсе - кажется, что не происходит ничего странного, когда кто-то из потребителей постоянно запрашивает со смещения 0 или что-то в этом роде. Мой вопрос: это типичное поведение? Это связано с опросом? Или что-то еще?

Спасибо @riferrei за ваш комментарий. Я прошу прощения за путаницу. Чтобы попытаться помочь уточнить, пожалуйста, посмотрите на это изображение:

Это все, что я получаю. Моя интерпретация заключается в том, что в течение марта мы хранили данные объемом не менее 390 КБ, но не намного (390 КБ = 1024 *1024* 0,2766 ГБ-часов / 31 день / 24 часа). Мы перевели в 2 МБ (0,0021 ГБ), и согласно счету, мы передали 138 ГБ данных, или примерно 4 ГБ в день. Я пытаюсь понять, как это могло произойти.

Answer 1

Я получил сообщение от службы поддержки Confluent о том, что: 1) они не меняют свой счет для исключения накладных расходов. Их платежная документация была изменена, чтобы указать на тот факт, что они взимают за издержки протокола:

"Вам выставлен счет за общий объем данных, передаваемых в и из вашего кластера, включая накладные расходы на запросы, связанные с протоколом Kafka . "

2) Они добавили примечание в FAQ для Metrics API, пояснив, что в настоящее время его нельзя использовать для сверки платежей. План также состоит в том, чтобы представить метри c, которая включает байты протокола, которые помогут с этими проблемами, но детали над этим все еще разрабатываются.

Итак, в настоящее время предлагаемое решение для Чтобы избежать чрезмерной / необъяснимой передачи данных в вашем счете Confluent Cloud, измените fetch.wait.max.ms со значения по умолчанию, равного 100, на что-то большее, например, 5000. Это увеличивает время между опросами потребителей и, следовательно, уменьшает количество служебных данных сети из-за опрос.

Answer 2

Чарль ie,

Ваш вопрос немного сбивает с толку, поэтому прежде чем пытаться ответить на него, позвольте мне попытаться глубже понять, в чем здесь настоящая проблема.

• Вы спрашиваете? почему 4 ГБ данных вместо 2 МБ?
• Какое типичное поведение вы имеете в виду?

К вашему сведению, Confluent Cloud имеет набор API-интерфейсов REST, которые могут быть используется для лучшего контроля использования. Вот документация к нему:

https://docs.confluent.io/current/cloud/metrics-api.html

Дайте нам знать, в чем действительно проблема, чтобы мы могли помочь соответственно.

Спасибо,

- @ riferrei