Идеальная настройка конфигурации для max.tasks для Kafka Source Connector - PullRequest
Новая
       3

Идеальная настройка конфигурации для max.tasks для Kafka Source Connector

0 голосов
/ 18 февраля 2020

Я пытаюсь запустить исходный соединитель HDFS и исходный соединитель FileStream. Мне было интересно, как это будет работать, если мы установим tasks.max> 1. Разве это не работа коннектора, чтобы убедиться, что параллелизм обрабатывается правильно?

Например, не будет ли это проблемой для FileStream Source Connector, если есть более 1 задач, обращающихся к файлу? Как соединитель узнает, какая строка читается, какой задачей и как убедиться, что среди задач нет пункта sh?

ИЛИ

Является ли значение параметра tasks.max=1 для таких разъемов, где может возникнуть такая проблема?

1 Ответ

1 голос
/ 18 февраля 2020

Такой проблемы нет, так как в соответствии с документами :

tasks.max - максимальное количество задач, которые должны быть созданы для этого разъем. Соединитель может создать меньше задач, если он не может достичь этого уровня параллелизма.

Например, для File Stream Source Connector max.tasks просто игнорируется , в то время как для JDBC Source Connector реальное количество задач определяется как минимум из tasks.max и количество таблиц.

...