как настроить планировщик Vertica для использования данных Avro из Kafka
Привет! Я пытаюсь использовать планировщик Vertica для получения данных Avro из раздела Kafka.Я написал небольшой код Java, который создает простые объекты в виде данных Avro в Kafka.Я также вставил схему в kafka-schema-registry и вижу ее в браузере.Я пытаюсь настроить планировщик Vertica, все команды передаются без ошибок.Я также запустил микропакет, но таблица пуста, и мой планировщик сначала не использует данные из раздела Kafka. Я настроил файл conf с именем schduler.properties:
config-schema=person100_sched
username=dbadmin
dbhost=10.50.50.16
dbport=5433
, чемВ Vertica DB я создал пул ресурсов
CREATE RESOURCE POOL person100_pool MEMORYSIZE '10%' PLANNEDCONCURRENCY 1 QUEUETIMEOUT 0;
, следующий шаг - создание планировщика:
sudo ./vkconfig scheduler --create --operator dbadmin --frame-duration '00:00:02' --resource-pool person100_pool --conf scheduler.properties
Мой следующий шаг:создать кластер
sudo ./vkconfig cluster --create --cluster person100_cluster --hosts kafka:9092 --conf scheduler.properties
Мой следующий шаг - создать источник:
sudo ./vkconfig source --create --cluster person100_cluster --source person-avro --partitions 1 --conf scheduler.properties
Мой следующий шаг - создание целевой таблицы:
sudo ./vkconfig target --create --target-schema public --target-table person100 --conf scheduler.properties
- Затем я создал таблицу в Vertica с теми же типами, что и схема Person
Мой следующий шаг - создать AvroParser
sudo ./vkconfig load-spec --create --parser KafkaAvroParser --load-spec person_load --conf scheduler.properties
Мой следующий шаг - создание микропакета
sudo ./vkconfig microbatch --create --microbatch personBatch --target-schema public --target-table person100 --load-spec person_load --add-source person-avro --add-source-cluster person100_cluster --conf scheduler.properties
Мой следующий шаг - запуск микропакета
sudo ./vkconfig launch --conf scheduler.properties
похоже, все идет хорошо, но стол пуст