create () и createNewFile () генерируют исключение LeaseExpiredException - PullRequest
Новая
       95

create () и createNewFile () генерируют исключение LeaseExpiredException

0 голосов
/ 16 октября 2019

У меня есть два процесса в двух разных узлах (AM и задача). Процесс 1 создает файл с create(path) или createNewFile(path), а процесс 2 проверяет, существует ли файл с filesystem.exists(path). LeaseExpiredException генерируется в процессе 1, если создание и проверка происходят одновременно. 

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/ubuntu/attempt_1571233925717_0004_m_000015_0_pr.txt (inode 393138): File does not exist. Holder DFSClient_attempt_1571233925717_0004_m_000015_0_-1866596935_1 does not have any open files.
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkLease(FSNamesystem.java:3430)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFileInternal(FSNamesystem.java:3518)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.completeFile(FSNamesystem.java:3485)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.complete(NameNodeRpcServer.java:786)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.complete(ClientNamenodeProtocolServerSideTranslatorPB.java:537)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:969)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2045)
    .
    .
    .

Обратите внимание, что filesystem.exists(path) в процессе 2 возвращает true независимо от LeaseExpiredException, брошенного в процессе1.

...