Массовый режим коннектора Kafka Sap работает неправильно - PullRequest
Новая
       33

Массовый режим коннектора Kafka Sap работает неправильно

0 голосов
/ 26 ноября 2018

Я использую этот соединитель 

https://www.confluent.io/connector/sap-hana-connector/

это моя конфигурация 

{
    "name": "sap",
    "config": {
        "connector.class": "com.sap.kafka.connect.source.hana.HANASourceConnector",
        "tasks.max": "10",
        "topics": "sap_OHEM,sap_OHST",
        "connection.url": "jdbc:sap://10.236.242.1:30015/",
        "connection.user": "user",
        "connection.password": "pass",
        "mode":"bulk",
        "poll.interval.ms":"86400000",
        "sap_OHEM.table.name":                          "\"public\".\"OHEM\"",
        "sap_OHEM.poll.interval.ms":                    "86400000",
        "sap_OHST.table.name":                          "\"public\".\"OHST\"",
        "sap_OHST.poll.interval.ms":                    "86400000",
    }
}

В OHEM более 300 тыс. Строк, а в OHST - около 500. Моя проблема в том, что соединитель копирует только 100ряды каждого из них и подталкивать их к теме снова и снова, не прибегая к дополнительным шагам.Он копирует не всю таблицу, а только 100 строк, а затем копирует ее снова и снова.Я попытался с batch.max.rows поставить 100K как предел, это решило проблему с маленькими таблицами, но не с большими таблицами, потому что это сломало память JVM

Кто-нибудь сталкивался с той же проблемой?

...