Пока я читаю таблицу из redis, получаю следующее сообщение об ошибке.
Код ниже работает нормально.
val readDF= spark.sparkContext.fromRedisKeyPattern(tableName,5).getHash().toDS()
Обычно он работает менее чем с 2 миллионами строк.Но если я читаю большую таблицу, получаю эту ошибку.
18/10/11 17:08:25 ОШИБКА Исполнитель: Исключение в задаче 37.0 на этапе 3.0 (TID 338) redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: тайм-аут чтения в redis.clients.util.RedisInputStream.ensureFill (RedisInputStream.java:202) в redis.clients.util.RedisInputStream.readByte (100isIn:put)*
val redis = spark.sparkContext.fromRedisKeyPattern (tableName, 100) .getHash (). ToDS ()
Я также изменил некоторые настройки в Redis, но думаю, что дело не в этом.Вы знаете, как я могу решить эту проблему?