Невозможно записать в HDFS: WARN hdfs.DataStreamer - Неожиданный EOF - PullRequest
Новая
       4

Невозможно записать в HDFS: WARN hdfs.DataStreamer - Неожиданный EOF

0 голосов
/ 26 марта 2019

Я следую учебному пособию и, работая в тестовой среде с одним кластером, внезапно не могу запустить какие-либо задания MR или записать данные в HDFS. До этого все работало хорошо, и внезапно я продолжаю получать ошибку ниже (перезагрузка не помогает).

Я могу читать и удалять файлы из HDFS, но не записывать. 

$ hdfs dfs -put war-and-peace.txt /user/hands-on/

19/03/25 18:28:29 WARN hdfs.DataStreamer: Exception for BP-1098838250-127.0.0.1-1516469292616:blk_1073742374_1550
java.io.EOFException: Unexpected EOF while trying to read response from server
    at org.apache.hadoop.hdfs.protocolPB.PBHelperClient.vintPrefixed(PBHelperClient.java:399)
    at org.apache.hadoop.hdfs.protocol.datatransfer.PipelineAck.readFields(PipelineAck.java:213)
    at org.apache.hadoop.hdfs.DataStreamer$ResponseProcessor.run(DataStreamer.java:1020)
put: All datanodes [DatanodeInfoWithStorage[127.0.0.1:50010,DS-b90326de-a499-4a43-a66a-cc3da83ea966,DISK]] are bad. Aborting...

"hdfs dfsadmin -report" показывает, что все в порядке, достаточно места на диске. Я почти не выполнял никаких заданий, только несколько тестовых МР и немного тестовых данных. 

$ hdfs dfsadmin -report
Configured Capacity: 52710469632 (49.09 GB)
Present Capacity: 43335585007 (40.36 GB)
DFS Remaining: 43334025216 (40.36 GB)
DFS Used: 1559791 (1.49 MB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 52710469632 (49.09 GB)
DFS Used: 1559791 (1.49 MB)
Non DFS Used: 6690530065 (6.23 GB)
DFS Remaining: 43334025216 (40.36 GB)
DFS Used%: 0.00%
DFS Remaining%: 82.21%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 2
Last contact: Mon Mar 25 18:30:45 EDT 2019

Кроме того, NameNode WebUI (порт 50070) показывает мне, что все в порядке, журналы тоже не сообщают об ошибках. Что это может быть / как я мог бы правильно устранить неполадки?

CentOS Linux 6.9 минимальный Apache Hadoop 2.8.1

...