Я играю с Livy / Spark и немного запутался, как использовать некоторые из них. В папке примеров livy есть пример создания рабочих мест, которые загружаются для запуска. Мне нравятся используемые интерфейсы, но я хочу подключиться к livy / spark через http, поскольку у меня нет Java-клиента. При этом кажется, что если я использую livyclient для загрузки jar-файлов, он существует только в этом сеансе искры. Есть ли способ загрузить livyjobs для зажигания, а затем сделать это постоянным во всей искре? Было бы лучше вместо этого сделать эти работы / приложения в искре?
Честно говоря, я пытаюсь понять, какой будет лучший подход. Я хочу иметь возможность делать интерактивные вещи через оболочку, но я также хочу создавать пользовательские задания для алгоритмов, недоступных в spark, которые я бы часто использовал. Я не уверен, каким образом я должен заняться этим. Какие-нибудь мысли? Как я должен использовать Livy? Точно так же, как остальные службы, чтобы спровоцировать, а затем обрабатывать создание пользовательских приложений / методов в спарк?
например:
Скажем, у меня есть приложение на javascript, и у меня есть некоторые данные, которые я могу загрузить, и я хочу запустить алгоритм x на нем. Алгоритм x реализован или не реализован в spark, но при нажатии этой кнопки я хочу перевести эти данные в spark, будь то вставка в hdfs, извлечение из эластичного поиска или что-то еще. Если у меня есть livy, я бы хотел вызвать команду rest в livy, чтобы он выполнил этот конкретный алгоритм. Какой стандартный способ сделать это?
Спасибо