Я пытаюсь использовать функцию процентиля в spark-SQL.
Данные:
col1
----
198
15.8
198
198
198
198
198
198
198
198
198
Если я использую код ниже значения, получаемого из процентиля, неверно.
select percentile('col1', .05) from tblname
вывод: 106,9
Если я использую код, указанный ниже, значение перцентиля получится неверным.
select percentile('col1', .05, 2) from tblname
вывод: 24.91000000000001
Но если я использую приведенный ниже код, я получаю ожидаемый ответ (но я не знаю почему и как)
select percentile('col1', .05, 100) from tblname
Выход: 15,8
Может кто-нибудь помочь мне понять, как последний аргумент меняет вещи?Любая документация?Я проверил документацию исходного кода искры (поскольку я не знаю о Scala), но не повезло.Ничего на официальном сайте тоже нет.
процентиль (столбец, процент [, частота]) - возвращает точное значение процентиля> числового столбца col при заданном проценте.Значение в процентах должно быть> от 0,0 до 1,0.Значение частоты должно быть положительным целым
Ссылка