Я хочу получить данные из базы данных SQL Server, которая содержит данные, близкие к 5 ТБ.Я буду использовать kafka-connect-jdbc
, разработанный confluent.
Как выполнить настройку Kafka Connect для извлечения больших данных?Я вижу много Socket connection closed
ошибок.Нужна ли будет высокая конфигурация узлов Kafka Connect.Какие параметры необходимо настроить для такого варианта использования?
Есть ли лучший способ переноса такого огромного количества данных из одной базы данных в другую, скажем, в распределенную базу данных?