Nifi: 1.11.3 Ceph версия 13.2.6 (7b695f835b03642f85998b2ae7b6dd093d9fbce4) mimi c (стабильный)
Здравствуйте, я использую ListS3 - FetchS3 для получения объектов в кластере Ceph. Я использую config:
ListS3:
- Bucket: test-empty-bucket01.
- Регион: Запад США (Орегон).
- Запись тегов объекта: False.
- Запись метаданных пользователя: False.
- Время ожидания соединения: 30 секунд.
- URL переопределения конечной точки: http://localhost: 12345 / (кластер My Ceph)
- Использовать версии: false.
- Тип списка: Список объектов V1.
- Минимальный возраст объектов: 0 se c.
- Платежи запрашивающего: Ложь.
FetchS3:
- Bucket: test-empty-bucket01.
- Ключ объекта: $ {filename} .
- Регион: AWS GovCloud (США).
- Тайм-аут связи: 30 секунд.
- URL переопределения конечной точки: http://localhost: 12345 / (Мой кластер Ceph).
- Платежи запрашивающего: Ложь.
Мои проблемы:
- Когда я использую объекты List V2, ListS3 не сохраняется файл текущего состояния.
Когда я использую этот конфиг, он работает очень быстро. Но через 1-2 часа ListS3 поставил вопрос:
2020-03-04 13: 30: 52,521 ОШИБКА [Управляемый таймером поток-3] org. apache .nifi.processors. aws .s3.ListS3 ListS3 [id = a3675f45-0170-1000-a9c4-825011327395] ListS3 [id = a3675f45-0170-1000-a9c4-825011327395] не удалось обработать сеанс из-за исключения com.amazon aws .SdkClientException: невозможно выполнить HTTP-запрос: программное обеспечение вызвало прерывание соединения: ошибка recv; Процессор административно выдан за 1 се c: com.amazon aws .SdkClientException: Невозможно выполнить запрос HTTP: сбой соединения, вызванного программным обеспечением: сбой recv com.amazon aws .SdkClientException: Невозможно выполнить запрос HTTP: соединение вызвано программным обеспечением прервать: сбой recv