Передача пакетов из Kafka подключается к ведру AWS S3 медленно. Как увеличить пропускную способность - PullRequest
0 голосов
/ 30 марта 2020

Я использую Kafka Connect S3 для pu sh записей в AWS s3, мы используем timepasedpartioner для свойств s3.sink.pro, и мы замечаем только 10 записей в секунду. Пожалуйста, помогите увеличить пропускную способность.

1 Ответ

0 голосов
/ 02 апреля 2020

В вашем вопросе упоминается "передача пакетов", но, учитывая максимальный размер записи Kafka, по умолчанию равной 1 МБ, и в файле размером 10 МБ по сети, это может быть много пакетов ...

В конечном итоге сеть не является единственным фактором здесь. Вам нужно как минимум учитывать свои тарифы интернет-провайдера (при условии, что Connect не работает в AWS, что следует делать, если вы хотите сэкономить $$ на плате за загрузку VPC / S3), а затем посмотреть, сколько данных фактически отправляют производители. к топи c.

После того, как вы определились, поскольку вы используете разделитель на основе времени, вы не упомянули свой период времени или размер гриппа sh или интервал гриппа sh (запланированный или нет). Если у вас есть ежедневный раздел, а настройки flu sh смехотворно высоки, то, конечно, у вас в S3 будет очень мало данных.

Вы можете увеличить пропускную способность, увеличив comsumer.max.poll.records и снизив настройки гриппа sh и s3.part.size, но первые мысли предполагают, что это не ваша проблема.

...