Шаги по настройке Secor для темы Kafa - PullRequest
Новая
       32

Шаги по настройке Secor для темы Kafa

0 голосов
/ 25 октября 2018

Я очень новичок в Pinterest Secor и пытаюсь настроить его для своей местной темы Кафки.Я попытался прочитать официальную документацию GitHub, но она не объясняет полные шаги, которые необходимо выполнить, и какие поля следует изменить в файлах конфигурации и что они означают.Было бы здорово, если бы кто-то мог направить меня на полезную ссылку.

1 Ответ

0 голосов
/ 13 августа 2019

Вот ссылка на настройку Secor согласно официальной документации Secor. Секретная ссылка на документ

Некоторые основные шаги: -

  • 1.Для создания класса Java для определения ваших разделов.Эти разделы являются структурами путей / папок S3 или Azure, в которые вы хотите загрузить свои данные.
  • В файле конфигурации -> https://github.com/pinterest/secor/blob/master/src/main/config/secor.prod.partition.properties Обновите имя класса до имени вашего класса
  • Установите имя группы kafka в свойстве secor.kafka.group
  • Установитекаталог, в котором вы будете временно хранить секретные данные перед их загрузкой в ​​S3 / Azure-blob.обновите это свойство -> secor.local.path
  • Обновите базовый путь к вашему местоположению S3.Обновите это свойство -> secor.s3.path
  • установите хост kafka, откуда вы хотите использовать данные -> kafka.seed.broker.host
  • установите ip и порт zookeeper, который управляет вашей кафкой-> zookeeper.quorum
  • установить время, после которого ваш файл будет загружен в s3 -> secor.max.file.age.seconds
...