Как я могу использовать вызов livy job (JobContext jc)? - PullRequest
Новая
       30

Как я могу использовать вызов livy job (JobContext jc)?

0 голосов
/ 06 марта 2019

Во-первых, я использую режим программирования livy с java.Затем я реализовал интерфейс задания, перегрузил метод вызова, но я не знаю, кто его вызвал, я снабдил API-интерфейс livy, и нет никакого конкретного метода вызова.Я думаю, что Ливи должна дать инструкции.До сих пор я не понимаю вызов Ливи Джоба (JobContext) 

package ReadMongo;

import org.apache.livy.JobContext;
import org.apache.livy.JobHandle;
import org.apache.livy.LivyClient;
import org.apache.livy.LivyClientBuilder;

import net.butfly.albacore.utils.logger.Logger;

import java.io.File;
import java.net.URI;


public class ReadMongoApp {

    private static final Logger logger = Logger.getLogger(ReadMongoApp.class);


    public static void main(String[] args) throws Exception {
        LivyClient client = new LivyClientBuilder().setConf("kind", "spark").setURI(new URI(args[0])).build();

//      Not sure Effective
        File exampleFile = new File("F:\\github_dcxLove\\incubator-livy\\examples\\target\\livy-examples-0.6.0-incubating-SNAPSHOT.jar");
        client.uploadJar(exampleFile);

        ReadMongoJob readMongoJob = new ReadMongoJob();

        JobHandle<Object> submit = client.submit(readMongoJob);
        JobHandle.State state = submit.getState();
        logger.warn("------------------"+state);
        System.out.println("job status:" + state);
        client.stop(true);
    }
}

Это моя пометка о Ливи 

<dependency>
        <groupId>org.apache.livy</groupId>
        <artifactId>livy-api</artifactId>
        <version>0.5.0-incubating</version>
    </dependency>
    <dependency>
        <groupId>org.apache.livy</groupId>
        <artifactId>livy-scala-api_2.11</artifactId>
        <version>0.5.0-incubating</version>
    </dependency>
    <dependency>
        <groupId>org.apache.livy</groupId>
        <artifactId>livy-client-http</artifactId>
        <version>0.5.0-incubating</version>
    </dependency>

Я использую org.apache.livy 0.50 и spark2.4

Спасибо за исследование со мной.

Я думаю, что когда я вызываю submit (), livy должен автоматически вызывать call (JonContext jc), После тестирования livy этого не делал.Есть ли какая-то конфигурация, которую мне не хватает?

...