Нифи пропускает некоторые файлы при подключении Ceph по интерфейсу S3 - PullRequest
0 голосов
/ 05 марта 2020

Nifi: 1.11.3 Ceph версия 13.2.6 (7b695f835b03642f85998b2ae7b6dd093d9fbce4) mimi c (стабильный)

Здравствуйте, я использую ListS3 - FetchS3 для получения объектов в кластере Ceph. Я использую config:

ListS3:

  • Bucket: test-empty-bucket01.
  • Регион: Запад США (Орегон).
  • Запись тегов объекта: False.
  • Запись метаданных пользователя: False.
  • Время ожидания соединения: 30 секунд.
  • URL переопределения конечной точки: http://localhost: 12345 / (кластер My Ceph)
  • Использовать версии: false.
  • Тип списка: Список объектов V1.
  • Минимальный возраст объектов: 0 se c.
  • Платежи запрашивающего: Ложь.

FetchS3:

  • Bucket: test-empty-bucket01.
  • Ключ объекта: $ {filename} .
  • Регион: AWS GovCloud (США).
  • Тайм-аут связи: 30 секунд.
  • URL переопределения конечной точки: http://localhost: 12345 / (Мой кластер Ceph).
  • Платежи запрашивающего: Ложь.

Мои проблемы:

  • Когда я использую объекты List V2, ListS3 не сохраняется файл текущего состояния.
  • Когда я использую этот конфиг, он работает очень быстро. Но через 1-2 часа ListS3 поставил вопрос:

    2020-03-04 13: 30: 52,521 ОШИБКА [Управляемый таймером поток-3] org. apache .nifi.processors. aws .s3.ListS3 ListS3 [id = a3675f45-0170-1000-a9c4-825011327395] ListS3 [id = a3675f45-0170-1000-a9c4-825011327395] не удалось обработать сеанс из-за исключения com.amazon aws .SdkClientException: невозможно выполнить HTTP-запрос: программное обеспечение вызвало прерывание соединения: ошибка recv; Процессор административно выдан за 1 се c: com.amazon aws .SdkClientException: Невозможно выполнить запрос HTTP: сбой соединения, вызванного программным обеспечением: сбой recv com.amazon aws .SdkClientException: Невозможно выполнить запрос HTTP: соединение вызвано программным обеспечением прервать: сбой recv

...