Вот пример, похожий на мой UDF Hive:
create temporary function mfun as 'com.a.b.c.xyz' using
jar 'x1.jar', jar 'x2.jar';
select name, mfun.title from db.tablename;
Это запрашивает данные из таблицы Hive. Если выбрано много записей, он становится слишком медленным. У меня есть выборочные записи (каждый раз выбираю только несколько записей из циклических / небольших партий). Это не сильно улучшилось.
Может ли Spark быть полезным для повышения скорости в этом случае после регистрации hive udf?