Обладает ли Hive QL такой же выразительной силой, как написание ваших собственных заданий MapReduce непосредственно в Hadoop?

Question

Другими словами,

Существует ли проблема, которая может быть решена путем непосредственного определения вашей карты сокращения заданий, но для которой вы не можете сформировать запрос Hive QL?

Если да, то это означает, что Hive QL ограничен в своей выразительной силе и не может выразить все возможные задания по сокращению карты.

Практически это означает, что Hive QL не является полной заменой для определения ваших собственных заданий Map Reduce.

Answer 1

Hive QL не выражает все, что может быть написано с помощью MapReduce.Всегда будут случаи, когда вы знаете что-то о данных, которые Hive не может вывести.

Я не думаю, что было бы справедливо избегать использования Hive по этой причине, если вы об этом думаете.У SQL та же проблема, что и при написании алгоритма поверх плоских файлов.Правильно спроектированный, вы всегда можете сделать хотя бы так же хорошо или лучше, чем язык запросов, написав алгоритм с нуля.