Мы включили черный список в нашем приложении Spark, но недавно мы увидели некоторую странную проблему.
Наш код похож на
rdd.mapPartitions(...).groupByKey(...).map().collect()
На этапе mapPartitions один узел имеет исключение "Не удается подключиться к хосту xxxxxx: «Соединение установлено равноправно», поэтому все исполнители под этим узлом занесены в черный список. Эти исполнители выполнили некоторые задачи перед занесением в черный список.
Затем на следующем этапе (groupByKey (...). Map ()) произошла ошибка приложения с ошибкой выборки: IndexOutOfBound Исключение, когда какой-либо исправный исполнитель хочет извлечь блок из одного из перечисленных в черном списке исполнителей.
Это происходило несколько раз. Кто-нибудь знает, что происходит?