Hive vs Spark в производственных условиях

Question

Я ищу варианты использования Hive vs Spark в реальных производственных условиях.Эти две технологии сосуществуют в производственной среде?Если да, то какие преобразования хороши через HiveQL и какие случаи обрабатываются через SparkSQL?

Answer 1

Из нашего опыта мы используем:

1. Искра для ETL
2. Улей для аналитической обработки.

Хотя нужно учитывать одну вещь - эточто под Улей.Например, Hive on Tez будет быстрее, чем искра для аналитики.Но если Hive будет на MapReduce - лучше использовать Spark для аналитики.