Недавно мне не удалось загрузить какие-либо jar-файлы в мой кластер Flink, работающий под YARN в AWS EMR.В течение 26 дней было запущено потоковое приложение.Кажется, что временный каталог был удален, но я действительно не думаю, что я удалил его.
Из jobmanager.log:
2019-02-12 22:02:05,156 WARN org.apache.flink.runtime.webmonitor.handlers.JarListHandler - Jar upload dir /tmp/flink-web-94fee1e8-35b9-409f-be97-d86c0f021459/flink-web-upload does not exist, or had been deleted externally. Previously uploaded jars are no longer available.
В экземпляре достаточно места дляхранение банки.
Вот состояние приложения YARN:
Application-Id : application_1547758510009_0001
Application-Name : Flink session cluster
Application-Type : Apache Flink
User : hadoop
Queue : default
Application Priority : 0
Start-Time : 1547758629234
Finish-Time : 0
Progress : 100%
State : RUNNING
Final-State : UNDEFINED
Tracking-URL : http://ip-cp1.ec2.internal:39975
RPC Port : 39975
AM Host : ip-cp1.ec2.internal
Aggregate Resource Allocation : 43765538005 MB-seconds, 4500338 vcore-seconds
Aggregate Resource Preempted : 0 MB-seconds, 0 vcore-seconds
Log Aggregation Status : NOT_START
Diagnostics :
Unmanaged Application : false
Application Node Label Expression : <Not set>
AM container Node Label Expression : <DEFAULT_PARTITION>
Я не установил ни jobmanager.web.upload.dir, ни jobmanager.web.tmpdir.После воссоздания этого каталога я могу загрузить его через cURL (и убедиться, что файл прибыл), но затем в последующем списке файлов jar ничего не отображается.
Кто-нибудь видел это раньше?А также, как теперь я могу правильно воссоздать необходимый каталог загрузки?