Два (Kafka) S3 разъема не работают одновременно - PullRequest
Новая
       51

Два (Kafka) S3 разъема не работают одновременно

0 голосов
/ 24 ноября 2018

У меня Kafka Connect работает в кластере (3 узла) с 1 коннектором (тема -> S3), все в порядке: 

root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres/status | jq -r
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   219  100   219    0     0  36384      0 --:--:-- --:--:-- --:--:-- 43800
{
  "name": "s3-postgres",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [
    {
      "state": "RUNNING",
      "id": 0,
      "worker_id": "127.0.0.1:8083"
    },
    {
      "state": "RUNNING",
      "id": 1,
      "worker_id": "127.0.0.1:8083"
    }
  ],
  "type": "sink"
}

Но когда я создал другой коннектор, статус задачивсегда так: 

[root@dev-kafka1 ~]# curl localhost:8083/connectors/s3-postgres6/status | jq -r
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   109  100   109    0     0  14347      0 --:--:-- --:--:-- --:--:-- 15571
{
  "name": "s3-postgres6",
  "connector": {
    "state": "RUNNING",
    "worker_id": "127.0.0.1:8083"
  },
  "tasks": [],
  "type": "sink"
}

Я не знаю, почему я сделал неправильно в конфигурации, что два разъема одного и того же плагина не работают вместе, если я остановлю нормально работающий разъем № 1,разъем № 2 после перезагрузки работает нормально.Кто-нибудь знает, что я должен изменить в конфигах?

1 Ответ

0 голосов
/ 26 ноября 2018

Трудно сказать, в чем конкретно заключается проблема, не просматривая журналы, может быть, даже временно изменив журналирование для многословной отладки, но в зависимости от свойств коннектора Kafka Connect может очень сильно потреблять память.

ПоэтомуЯ бы предложил запустить сам Connect на изолированных машинах от брокеров Kafka и позволить Connect брать больший размер кучи (по умолчанию 2g в последних версиях), экспортируя переменную KAFKA_HEAP_OPTS

...