Жизнь распределенного кэша в Hadoop

Question

Когда файлы передаются на узлы с использованием механизма распределенного кэша в потоковом задании Hadoop, удаляет ли система эти файлы после завершения задания? Если они будут удалены, что, я полагаю, так и есть, есть ли способ сохранить кэш для нескольких заданий? Работает ли это так же на Amazon Elastic Mapreduce?

Answer 1

Я копался в исходном коде, и похоже, что файлы удаляются TrackerDistributedCacheManager примерно раз в минуту, когда их счетчик ссылок падает до нуля. TaskRunner явно освобождает все свои файлы в конце задачи. Может быть, вам следует отредактировать TaskRunner, чтобы не делать этого, и самим управлять кешем более явными средствами?

Answer 2

I cross опубликовал этот вопрос на форуме AWS и получил хорошую рекомендацию использовать hadoop fs -get для передачи файлов способом, который сохраняется между заданиями.