Я обрабатываю более 50 миллионов данных, используя скрипт pig, и в конце скрипта мы используем функцию ранга, перед тем как вывести данные, я получаю ошибку ниже:
Задание свиньи завершается с ошибкой "org.apache.hadoop.mapreduce.counters.LimitExceededException: слишком много счетчиков: 121 макс = 120".
Я использовал приведенное ниже решение, используя его в моем сценарии pig:
set mapreduce.job.counters.max 1000;
Но я все еще получаю ту же ошибку в функции ранга.
Буду очень признателен, если кто-нибудь сможет мне помочь или просто даст альтернативный способ применения функции ранга к данным без ошибок.