поток данных весеннего облака исчерпывает место на диске - PullRequest
Новая
       57

поток данных весеннего облака исчерпывает место на диске

0 голосов
/ 22 октября 2018

У нас есть большое количество задач (~ 30), запущенных SCDF на PCF, однако мы сталкиваемся с проблемами дискового пространства с SCDF, проблема, по-видимому, связана с загрузкой артефактов SCDF при каждом вызове задачи.

  1. Артефакты в нашем случае загружаются из конечной точки покоя https://service/{artifact-name-version.jar} (который inturn обслуживает его из хранилища S3)
  2. Каждый раз, когда вызывается задача, кажется, чтоSCDF загружает артефакт (в каталог ~ tmp / spring-cloud-deployer) проверяет хэш sha1, чтобы удостовериться, что он самый последний, прежде чем запускать задачу на PCF
  3. Загруженные артефакты никогда не очищаются

Не желательно каждый раз загружать артефакты и заполнять место на диске в ~ tmp / экземпляра SCDF на PCF.Есть ли способ сказать SCDF не загружать артефакт, если он уже существует?

Также, может кто-нибудь объяснить механизм загрузки артефакта, сравнивая хэш sha1 и задачи запуска (и различные варианты вокруг него)

Спасибо!

1 Ответ

0 голосов
/ 22 октября 2018

SCDF загружает артефакты по следующим причинам на стороне сервера.

1) Получение метаданных (свойств приложения) - если у вас есть явный ресурс метаданных, то загружается только 2) Соответствующий развертыватель (локальный), CF) в конечном итоге загружает артефакт перед отправкой запроса на развертывание / запроса на запуск.

Значение хэша используется для создания уникального временного файла при загрузке артефакта.

Есть лиспособ сказать SCDF не загружать артефакт, если он уже существует?

Артефакты на основе HTTP (или любые другие явные URL-адреса, кроме maven, docker) артефакты всегда загружаются из-затот факт, что ресурсы в определенном URL-адресе могут быть заменены каким-либо другим ресурсом, и мы не хотим использовать кеш в этом случае.

Кроме того, недавно мы отказались от использования механизма очистки кеша, как это было раньше.не используется эффективно.

Если в вашем случае использования (с этим конкретным ограничением дискового пространства нельзя обрабатывать кэширование нескольких артефактов) требуется эта функция очистки кэша, создайте запрос Github здесь

Мы также рассматривали возможность удаления артефакта на основе HTTP после его развертывания / запуска.Похоже, стоит вернуться к этому сейчас.

...