Hive-- Для дублирующего заказа по значениям, результат всегда будет одинаковым?

Question

Теоретически я знаю, что ответ случайный, но мне было интересно, если вы выполняете, например, оконные функции с row_number () и у вас есть дублирующиеся значения в вашем порядке по столбцам для данного раздела, результат останется таким же? Hive смотрит на другие столбцы, чтобы определить порядок, даже если он не указан?

Answer 1

Порядок дублирования строк не гарантируется, поскольку обработка запросов выполняется параллельно во многих преобразователях и преобразователях, каждый из которых может выполняться быстрее, чем медленнее, и не всегда одинаково, в зависимости от кластера и нагрузки на каждый узел. Результаты Mapper могут не обрабатываться в одном и том же порядке даже на одном редукторе.