Я прочитал 2 ГБ ограничения в искре из-за ограничения байтового буфера lnteger.MAX_INT.Я понял, что из-за этого размер блока памяти не может превышать, поэтому любая запись в разделе RDD должна быть меньше 2 ГБ.
Но я читаю здесь ( Почему раздел Spark RDD имеет ограничение 2 ГБ дляHDFS? ) сам раздел RDD не может превышать 2 ГБ.И перераспределение на более мелкие разделы сработало.Это правда?Пожалуйста, помогите мне понять это ..