В вашем вопросе упоминается "передача пакетов", но, учитывая максимальный размер записи Kafka, по умолчанию равной 1 МБ, и в файле размером 10 МБ по сети, это может быть много пакетов ...
В конечном итоге сеть не является единственным фактором здесь. Вам нужно как минимум учитывать свои тарифы интернет-провайдера (при условии, что Connect не работает в AWS, что следует делать, если вы хотите сэкономить $$ на плате за загрузку VPC / S3), а затем посмотреть, сколько данных фактически отправляют производители. к топи c.
После того, как вы определились, поскольку вы используете разделитель на основе времени, вы не упомянули свой период времени или размер гриппа sh или интервал гриппа sh (запланированный или нет). Если у вас есть ежедневный раздел, а настройки flu sh смехотворно высоки, то, конечно, у вас в S3 будет очень мало данных.
Вы можете увеличить пропускную способность, увеличив comsumer.max.poll.records
и снизив настройки гриппа sh и s3.part.size
, но первые мысли предполагают, что это не ваша проблема.