Я получаю некоторые временные исключения, за исключением использования потоковой передачи с Amazon Kinesis с уровнем хранения "MEMORY_AND_DISK_2".Мы используем Spark 2.2.0 с emr-5.9.0.
19/05/22 01:56:16 ERROR TransportRequestHandler: Error opening block StreamChunkId{streamId=438690479801, chunkIndex=0} for request from /10.1.100.56:38074
org.apache.spark.storage.BlockNotFoundException: Block broadcast_13287_piece0 not found
Я проверил, нет ли потерянных узлов в кластере EMR.И процент использования HDFS составляет 35%