Как сохранить работоспособность программы с использованием потокового воспроизведения

Question

Я использую Apache Spark в своем проекте Java, результат работы программы появляется только при запуске моей программы, теперь я хочу, чтобы моя программа всегда работала с использованием SparkStreaming.

Мой проектструктурировано следующим образом:

• Package.launch:

  public class App {
  
      public App(){
  
          new Launch();
      }
      public static void main( String[] args )
      {
          new App();
      }
  }
  
  public class Launch {
  
      Read read = new Read();
      Transform transform = new Transform();
      Write write = new Write();
  
      public Launch(){
  
          write.getWriter(
                          transform.getTransformer(
                                                      read.getReader())); 
      }   
  }
  

• Package.read:

  public class Read {
  
      public Dataset getReader(){
          // Read from csv file then return dataset
          return ds;
      }
  }
  

• Package.transform:

  public class Transform {
  
      public Dataset getTransformer(Dataset ds){
          //do transfomration on Dataset ds then return the final Dataset
          return ds;
      }
  }
  

• Package.write:

  public class Write {
  
      public void getWriter(Dataset ds){
          // write the result on csv file 
      }
  }
  

Answer 1

Лучший способ продолжить работу Spark streaming Задний план.

Use "nohup spark-submit <parameters> 2>&1 < /dev/null &"

Если вы хотите запустить Java из оболочки

java -jar {PATH TO JARFILE} $1 $2

Заменить

{PATH TO JARFILE}

с путем к файлу фляги

1014 *