Периодически искра задание возвращает ошибку Невозможно создать каталог / grid / * / hadoop / yarn / local / usercache / * - в разрешении отказано - PullRequest
Новая
       139

Периодически искра задание возвращает ошибку Невозможно создать каталог / grid / * / hadoop / yarn / local / usercache / * - в разрешении отказано

0 голосов
/ 27 мая 2020
• 1000 Периодически искра Работа бизнес-аналитиков возвращала ошибку 
Can't create directory /grid/*/hadoop/yarn/local/usercache/*/appcache/application_1111111111111_222222 - Permission denied

java.io.FileNotFoundException: File file:/grid/*/hadoop/yarn/local/usercache/*/appcache/application_1111111111111_222222 does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614)
at org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:1074)
at org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:176)
at org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:198)
at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:732)
at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:728)
at org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90)
at org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:735)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.createDir(ContainerLocalizer.java:465)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.initDirs(ContainerLocalizer.java:457)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.runLocalization(ContainerLocalizer.java:143)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.main(ContainerLocalizer.java:424)
Failing this attempt. Failing the application.

ошибка на узле данных 

Diagnostics Info:   
AM Container for appattempt_1111111111111_222222_000002 exited with exitCode: -1000
For more detailed output, check the application tracking page: http://super-cluster:8088/cluster/app/application_1111111111111_222222  Then click on links to logs of each attempt.
Diagnostics: Application application_1111111111111_222222  initialization failed (exitCode=255) with output: main : command provided 0
main : run as user is drno
main : requested yarn user is drno
Can't create directory /grid/*/hadoop/yarn/local/usercache/*/appcache/application_1111111111111_222222 - Permission denied
Can't create directory /grid/*/hadoop/yarn/local/usercache/*/appcache/application_1111111111111_222222 - Permission denied
java.io.FileNotFoundException: File file:/grid/*/hadoop/yarn/local/usercache/*/appcache/application_1111111111111_222222 does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614)
at org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:1074)
at org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:176)
at org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:198)
at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:732)
at org.apache.hadoop.fs.FileContext$4.next(FileContext.java:728)
at org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90)
at org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:735)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.createDir(ContainerLocalizer.java:465)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.initDirs(ContainerLocalizer.java:457)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.runLocalization(ContainerLocalizer.java:143)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ContainerLocalizer.main(ContainerLocalizer.java:424)
Failing this attempt

Я подумал, что в какой-то момент закончилось свободное место в сетках. и вызвать другие пользовательские сеансы.

Проверено свободное место в жадных и других томах на узлах данных, возвращенные ошибки - использовано не более 85%.

Что вы еще можете порекомендовать проверить? В чем еще может быть проблема?

...