Кафка коннект jdbc исходный mssql сервер загрузка миллионов записей выбрасывание из памяти ошибка - PullRequest
Новая
       17

Кафка коннект jdbc исходный mssql сервер загрузка миллионов записей выбрасывание из памяти ошибка

0 голосов
/ 07 июля 2019

Я попытался загрузить 77 миллионов записей с сервера MSSQL в тему Kafka через JDBC-источник Kafka connect.

Пробный пакетный подход дает batch.max.rows как 1000. В этом случае, после 1000 записей, это во всей памяти.Пожалуйста, поделитесь предложениями о том, как сделать так, чтобы он работал

Ниже описан подход с использованием коннектора, который я пробовал 

curl -X POST http://test.com:8083/connectors -H "Content-Type: application/json" -d '{
        "name": "mssql_jdbc_rsitem_pollx",
        "config": {
                "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
                "connection.url": "jdbc:sqlserver://test:1433;databaseName=xxx",
                "connection.user": "xxxx",
                "connection.password": "xxxx",
                "topic.prefix": "mssql-rsitem_pollx-",
                 "mode":"incrementing",
                 "table.whitelist" : "test",
                "timestamp.column.name": "itemid",
         "max.poll.records" :"100",
                "max.poll.interval.ms":"3000",
                "validate.non.null": false
        }
        }'

curl -X POST http://test.com:8083/connectors -H "Content-Type: application/json" -d '{
        "name": "mssql_jdbc_test_polly",
        "config": {
                "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
                "tasks.max": "10",
                "connection.url": "jdbc:sqlserver://test:1433;databaseName=xxx;defaultFetchSize=10000;useCursorFetch=true",
                "connection.user": "xxxx",
                "connection.password": "xxxx",
                "topic.prefix": "mssql-rsitem_polly-",
                 "mode":"incrementing",
                 "table.whitelist" : "test",
                "timestamp.column.name": "itemid",
                "poll.interval.ms":"86400000",
                "validate.non.null": false
        }
        }'

1 Ответ

0 голосов
/ 08 июля 2019

попробуйте увеличить размер кучи Java, напишите в командной строке:

export KAFKA_HEAP_OPTS="-Xms1g -Xmx2g"

вы можете изменить часть "Xmx2g" в соответствии с вашими возможностями.

...